INFORMES DE LAS COMISIONES TCNICAS QUE HAN ELABORADO LOS TEMS

E INSTRUMENTOS DE LAS PRUEBAS DE LA EVALUACIN DE DIAGNSTICO

CELEBRADAS EN ANDALUCIA EN OCTUBRE DE 2006.
Este documento es una sntesis de las procedimientos de elaboracin,
caractersticas de las pruebas y tratamiento informtico de los resultados de la
Evaluacin de Diagnostico desarrollada en Andaluca.
Se incluyen sendos informes de la Comisin tcnica de la prueba de
competencia matemtica, de la Comisin tcnica de la prueba de competencia en
comunicacin lingstica (lengua espaola), del rea de Sistemas de Informacin de la
Consejera de Educacin y del Departamento de Mtodo de Investigacin y
Diagnstico (Universidad de Sevilla).
Con ello se pretende trasladar al profesorado y a los centros la informacin necesaria
y precisar algunas dudas que han sido trasladadas a la Direccin General de
Ordenacin y Evaluacin Educativa.
INFORME TCNICO SOBRE ALGUNOS ASPECTOS DE LAS PRUEBAS DE
COMPETENCIAS MATEMTICAS.
Comisin tcnica.1
1. En primer lugar hay que sealar que las pruebas no pretenden medir
conocimientos sino competencias; en el Marco Terico que la Consejera de
Educacin ha hecho llegar a los centros educativos a travs de la aplicacin
informtica Sneca, queda suficientemente claro el concepto de competencia y,
aunque para tener competencia es necesario poseer conocimientos, ambos
conceptos difieren en que el primero significa un saber hacer, un saber
aplicar todos los conocimientos en distintos contextos.

Comisin constituida por diez funcionarios docentes especialistas en matemticas y

pedagoga; pertenecientes a los cuerpos de Catedrticos de Enseanza Secundaria,
Profesores de Educacin Secundaria, y Maestros de Educacin Primaria. Algunos de sus
componentes son asesores en Centros del Profesorado de Andaluca, pertenecientes a la
asociacin de profesores de matemticas Thales y ejercen cargos directivos en centros de
Educacin Primaria o Secundaria. La coordinacin corresponde a un Inspector de educacin,
doctor en ciencias matemticas por una universidad espaola y otra francesa.

2. Por otro lado y tal y como se afirma en el Marco Terico de PISA, para resolver
cualquier situacin es necesario poner en juego ms de una competencia
matemtica y es prcticamente imposible medir cada una de ellas
aisladamente.
En este sentido, lo que se ha hecho es asociar a cada pregunta la competencia
que se ha considerado ms representativa, aunque en el anlisis final que
elabore la Consejera se tendrn en cuenta otras que se usen al resolver el
problema.
3. Respecto a que en determinadas preguntas se valora positivamente cualquier
estrategia que escoja el estudiante, hay que sealar que no se puede confundir
estrategia adecuada con la mejor estrategia.
La imposibilidad de determinar de antemano todas las estrategias que pueden
llevar a la resolucin correcta de un problema, incluso despus de haber
realizado el pilotaje de una prueba, es la causa por la que en sus pautas de
correccin, despus de sealar una posible estrategia de resolucin, se indica
que se valorar con la mxima puntuacin cualquier estrategia correcta que
utilice el alumno para llegar a la solucin del problema.
No se considera oportuno valorar ms una estrategia que otra, ya que la que
puede ser mejor para un individuo y un momento determinado puede no serlo
en otras circunstancias.
Entendemos que no somos quines para decidir cul es la mejor de entre todas
las estrategias posibles, mxime cuando todos los estudios sobre enseanza
de las matemticas y de la resolucin de problemas lo que proponen es que
sean los alumnos los que busquen sus propias estrategias y las comparen con
las de los compaeros, en contra del aprendizaje por repeticin de la estrategia
establecida por el profesor. Mientras que el primer mtodo significa hacer y
construir la matemtica, lo que posibilita su aplicacin en diversas situaciones
no necesariamente matemticas, el segundo se reduce a un aprendizaje
memorstico que termina en el olvido.
4. Respecto a la pregunta nm. 3 de la prueba, titulada Relojes, en algn medio
de comunicacin, se han formulado dudas sobre la correccin de la
informacin recogida en el texto de la misma. En primer lugar, hay que sealar
que las cuestiones planteadas en dicho medio no influyen para nada en los
procesos de razonamiento que los alumnos han de poner en prctica para

resolver el problema ni en la comprobacin de su nivel de desarrollo en la

competencia que se pretende medir.
a. No es posible comprender la pregunta si no va acompaada de la figura
formada por los cuatro relojes. El tem, publicado sin la correspondiente
figura, puede confundir si no se aclara que los relojes son de aguja y no
digitales; la diferencia entre ambos, como es bien conocido, es que los
primeros, que son los que aparecen en el problema, trabajan con doce
horas y los otros con veinticuatro. Siendo los digitales ms comunes en los
ltimos tiempos, el lector puede pensar en ellos y no en los de aguja, que,
dicho sea de paso, no han perdido actualidad por continuar utilizndose en
mltiples lugares pblicos.
b. Es necesario destacar que las horas marcadas por los relojes pueden
corresponder perfectamente a las ciudades de Hong Kong, Pretoria, Madrid
y Melbourne. A la hora de corroborar esta afirmacin es necesario tener en
cuenta que respecto al tercer reloj (Madrid), el primero (Hong Kong) marca
ocho horas ms, el segundo (Pretoria) marca una hora ms y el cuarto
(Melbourne) marca diez horas ms, valores que estn dentro de las
posibilidades horarias de estas ciudades si se tiene en cuenta que los
gobiernos de los distintos pases modifican la hora solar por razones de
economa energtica.
c. El problema se podra haber redactado diciendo Sabiendo que en
Melbourne (Australia) son diez horas ms que en Madrid, , pero lo
habitual es que un ciudadano a la vista de los relojes 3 y 4 diga que en el
cuarto reloj son dos horas menos que en el tercero y no que en el cuarto
reloj son diez horas ms que en el tercero.
Otra posible redaccin hubiera sido Sabiendo que el reloj correspondiente
a Melbourne (Australia) marca dos horas menos que el correspondiente a
Madrid, , pero de esta forma se habra sido reiterativo y farragoso en el
lenguaje. Ya se utilizan los verbos sealar y marcar al principio y al final
de la pregunta.
d. Por otro lado, y excusando de antemano la pedantera, si nos atenemos a
conceptos abstractos de la matemtica superior, queremos recordar que los
relojes trabajan con restos resultantes al dividir por doce, en trminos
matemticos restos en mdulo doce, y que en el grupo aditivo de los
restos en mdulo doce es lo mismo menos dos que ms diez.
En cuanto al nivel de la pregunta, hemos de indicar que tras el
correspondiente pilotaje y segn los informes del equipo universitario, fue

validada de acuerdo con criterios anlogos a los establecidos en el Marco

Terico y en el Informe Tcnico correspondientes a las pruebas
internacionales PISA.
5. En cuanto a las preguntas que implican conocimientos de aritmtica, indicar
que no corresponden a 1 de ESO. El Decreto 148/2002, que establece el
currculo del rea de Matemticas para la ESO, en el apartado correspondiente
a Criterios de Evaluacin dice lo siguiente: Sin perjuicio de lo dispuesto a tales
efectos en el Real Decreto 3473/2000, y el citado Real Decreto recoge
como criterios de evaluacin del Primer Ciclo de ESO los siguientes:
-

Utilizar de forma adecuada los nmeros enteros, las fracciones y los

decimales para recibir y producir informacin en actividades
relacionadas con la vida cotidiana.

Elegir, al resolver un determinado problema, el tipo de clculo

adecuado (mental o manual) y dar significado a las operaciones y
resultados obtenidos, de acuerdo con el enunciado.

Estimar y calcular expresiones numricas sencillas,

Es obvio que estos criterios se refieren a la resolucin de problemas

aritmticos.
Por otro lado, las competencias deben desarrollarse a lo largo de toda la
enseanza obligatoria y a la hora de medirlas, aunque creemos que sera muy
complicado establecer niveles para los distintos cursos de la Educacin Bsica,
hay que plantear situaciones que se puedan resolver con conocimientos de
cursos inferiores.
No se trata de una prueba selectiva que determina si el alumno est o no en
condiciones de promocionar a un curso, de obtener un ttulo o de acceder a
unos estudios determinados, sino de una prueba que mida su nivel de
competencia, que pudiera estar en un estadio inferior al deseado para los
alumnos que han finalizado el Segundo Curso de ESO, pero que no podra ser
determinado si todas las pruebas que se plantean han de ser abordadas con
conocimientos que slo se han estudiado en este curso.
6. Sobre la pregunta titulada Cine se constata, en las correcciones que hemos
efectuado, cmo los alumnos, sin haber estudiado la resolucin de sistemas de
ecuaciones, que es un contenido de 3 de ESO, aplican las tcnicas de
resolucin de stos para responder a la pregunta (multiplican por dos la

primera compra, la restan de la segunda, etc.) sin utilizar la terminologa

algebraica.
De lo anterior se deduce que los alumnos tienen ciertas ideas previas sobre
estrategias de resolucin de sistemas de ecuaciones, que creemos que deben
ser aprovechadas y trabajadas en el aula antes de pasar a la notacin
algebraica.
Los trabajos sobre enseanza de las matemticas llevan a la conclusin de que
se debe trabajar desde lo concreto hacia lo abstracto, que, por otro lado, es la
forma en que se ha construido el conocimiento matemtico.
Entendemos que el tem nm. 6 es un buen ejemplo concreto para iniciar al
alumno en las tcnicas y procedimientos de resolucin de sistemas de
ecuaciones.
No debemos olvidar que planteamientos del aprendizaje de la matemtica en
sentido contrario, de lo abstracto a lo concreto, nos llevaron en la dcada de los
setenta a grandes fracasos; nos estamos refiriendo a la introduccin de la
teora de conjuntos en los niveles iniciales de la enseanza.
7. En la pregunta nm. 7, titulada Construyendo Eles, se plantean al alumno tres
formas de resolver el problema para que se elija una de ellas y luego se da por
buena cualquiera de las formas. Tal como se indica en las pautas de
correccin, lo que se valora positivamente no es que el alumnado elija
cualquiera de las tres, sino que argumente por qu la elegida le parece la ms
sencilla.
.

8.

En las preguntas 13 y 14 se incluye el dato numrico en el mismo grfico;

hemos de indicar que esa es la forma habitual en que aparece la informacin
grfica en los medios de comunicacin. Para comprobarlo basta la siguiente
grfica insertada en el Diario El Mundo del da 1 de Noviembre de 2006:

9. Por ltimo, indicar que la competencia que se pretende medir con la pregunta
nm. 1, titulada En la frutera, no es Leer informacin simblica sino
Identificar el significado de la informacin numrica y simblica y queda claro
que en su redaccin hay ms que suficiente informacin numrica.
A modo de conclusin resaltar que lo que se ha pretendido con las pruebas es
establecer el nivel de competencia matemtica de los alumnos, es decir, establecer
hasta qu nivel saben los alumnos aplicar sus conocimientos matemticos a
situaciones planteadas en distintos contextos, y creemos que el tipo de preguntas
propuestas responde suficientemente a dicha intencin.
Consideramos que la matemtica se debe trabajar, en la medida de lo posible, a travs
de la resolucin de problemas, pues es as cmo se ponen en juego procesos de
pensamiento que desarrollan competencias aplicables a otras situaciones no
necesariamente matemticas.
Pero, no es ste el tipo de actividades que se plantean generalmente en las aulas,
dado que es ms frecuente trabajar con ejercicios de clculos y destrezas largos y
complicados, que hoy da pueden ser resueltos con gran facilidad con medios
tecnolgicos. Lo fundamental consiste en

centrar la atencin en los procesos de

razonamiento que se ponen en juego a la hora de resolver problemas.

Consideramos, y dicho sea de paso, que el curriculum que se publique como
desarrollo de la LOE debera marcar lmites en los niveles de destreza a exigir por el
profesorado y obligar a centrar la atencin en la resolucin de problemas de la vida
cotidiana, de la ciencia, laborales, etc.

INFORME TCNICO SOBRE ALGUNOS ASPECTOS DE LAS PRUEBAS DE

COMUNICACIN LINGSTICA (LENGUA ESPAOLA).
Comisin tcnica2.

1. En primer lugar, hay que decir que las pruebas han sido elaboradas teniendo
en cuenta, como referentes, el marco de referencia europeo para la
enseanza, aprendizaje y evaluacin de las lenguas y las pruebas PISA.
Este modelo se ha hecho explcito y pblico, se han tenido adems presentes
los criterios de evaluacin establecidos en el Decreto 148/2002 de 14 de mayo,
por el que se establecen las enseanzas de Educacin Secundaria Obligatoria
en Andaluca y en el Real Decreto 3473/2000, por el que se establecen las
enseanzas comunes de Educacin Secundaria Obligatoria. Las ltimas
tendencias en la evolucin de la teora lingstica y en la didctica de las
destrezas comunicativas han sido tambin tenidas en cuenta.
2. Las pruebas versan sobre contenidos relacionados con la comunicacin
lingstica, no meramente con los del rea de Lengua Castellana y Literatura.
Las destrezas de comunicacin lingstica no se ensean ni aprenden slo en
dicha rea, aunque lgicamente su contribucin curricular tiene un peso
decisivo. No debe olvidarse que las destrezas de comprensin y expresin
tienen un marcado carcter interdisciplinar. En este sentido, PISA clasifica los
textos en continuos y no continuos, clasificacin que se ha utilizado para
elaborar las pruebas.
3. Las pruebas tratan de medir competencias, no contenidos: una competencia no
es equivalente a un contenido. Por eso los conocimientos que el alumnado
tiene sobre sustantivos, adjetivos, verbos, sinnimos, slabas, descripcin,
narracin se preguntan en la prueba, pero intentando adems comprobar si
tienen un carcter funcional y si han sido incorporados por el alumnado a la
elaboracin de los textos, Por poner algunos ejemplos: pedir que un texto
dialogado se convierta en una noticia periodstica es preguntar por la narracin,
es tratar de averiguar si los alumnos llevan a la prctica la narracin.
2

Comisin constituida por diez funcionarios docentes especialistas lengua espaola y literatura;
pertenecientes a los cuerpos de Catedrticos de Enseanza Secundaria, Profesores de
Educacin Secundaria, y Maestros de Educacin Primaria. Algunos de sus componentes son
pertenecientes a la Asociacin de Profesores de Espaol Antonio de Nebrija y ejercen o han
ejercido cargos directivos en centros de Educacin Primaria y Secundaria. La coordinacin
corresponde a un Inspector de Educacin, Licenciado en Filologa Hispnica (Seccin
Lingstica) y Doctor en Historia del Mundo Contemporneo.

4. Contenidos relativos a la ortografa, lxico, sintaxis o gramtica estn adems

presentes en los criterios de correccin, donde se establecen determinadas
escalas para estas realizaciones o desempeos de competencias, por ejemplo:
demuestra correccin ortogrfica, propiedad lxica, cohesin sintctica,
coherencia de contenido y creatividad., o no cometer ninguna incorreccin
lxica, gramatical ni ortogrfica.
5. En cuanto a la puntuacin de las pruebas es necesario distinguir entre una
escala de medicin del desempeo, que es lo que se aplica en la prueba, con
un sistema de calificaciones. Mezclar ambos conceptos lleva a confundir una
prueba de diagnstico - en la que interesa sobre todo comprobar los niveles de
desempeo de la competencia para establecer medidas de mejora partiendo
del nivel demostrado por los alumnos- con un examen sancionador de una
calificacin donde hay aprobados y suspensos.
6. Sera muy recomendable la lectura del Marco de Referencia Europeo para la
enseanza, aprendizaje y evaluacin de las lenguas. Tal vez as se entendera
por qu se emplea un texto oral, cercano a la experiencia de los alumnos
(cancin de Andy y Lucas), para intentar comprobar una destreza de mediacin
(paso del cdigo oral al escrito, sntesis del contenido) y de interpretacin.
7. El elemento de competencia saber cambiar de registro medido en la prueba,
es una de las tareas fundamentales de la enseanza de la lengua materna:
posibilitar que los alumnos pasen de un nivel familiar-coloquial, lleno de
vulgarismos a niveles cada vez ms formales de la lengua ms adecuados a la
situacin comunicativa. Las teoras de Bernstein sobre el cdigo restringido y el
cdigo elaborado y su incidencia en la enseanza deben ser tenidas en cuenta
para valorar su importancia. Vase asimismo la bibliografa existente: es
recomendable. Vase especialmente el libro de Luis Gonzlez Nieto Teora
lingstica y enseanza de la lengua (Lingstica para profesores)
8. El objetivo de la pregunta sobre los verbos ojear y hojear es la ortografa, no
las formas y tiempos verbales. No obstante, no se ha considerado
completamente desempeado el elemento de competencia si los enunciados
no

son

absolutamente

correctos

tambin

desde

el

punto

de

vista

morfosintctico, no slo ortogrfico.

9. Con respecto a los tems que se refieren al texto del acta de la comunidad de
vecinos, s se tiene en cuenta la ortografa, una de las preguntas versa
precisamente sobre ortografa; lgicamente en las cuestiones en que se trata

sobre otro elemento de competencia se establecen otros criterios y pautas de

correccin.
10. La pregunta sobre la factura pone de manifiesto el carcter interdisciplinar de
las competencias evaluadas y que la comprensin lectora ha de ejercerse no
slo sobre determinados tipos de textos.
11. La cuestin 10 se centra sobre uno de los elementos esenciales de la
comunicacin publicitaria, el receptor de un anuncio, aspecto que entra de lleno
en el currculo vigente.

Finalmente, es claro que la prueba propuesta y los criterios de correccin que los
acompaan son mejorables, como todo. Es imposible preguntar por todo el currculo,
se han seleccionado slo los elementos ms significativos y los tems que han sido
validados.

INFORME TCNICO SOBRE LA METODOLOGA UTILIZADA

PARA LA

OBTENCIN DE LAS PUNTUACIONES DEL ALUMNADO, GRUPOS Y CENTROS

EN LOS INFORMES DE LA PRUEBA GENERAL DE EVALUACIN DE
DIAGNOSTICO.
rea de Sistemas de Informacin. Consejera de Educacin.
Resumen:
Este informe describe la implementacin en el sistema informtico SNECA de
lo establecido en el Marco Terico y los Manuales de Aplicacin de la Prueba General
de la Evaluacin de Diagnstico en relacin con la obtencin de las puntuaciones e
indicadores incluidos en los informes de alumnado, grupo y centro de la prueba.
Las relaciones de los tems de cada prueba con los Bloques de Contenido
(para la competencia matemtica) y Elementos de Competencia y la de estos con las
Dimensiones de la Competencia en cada materia, se resumen en un Anexo elaborado
a partir de la informacin ofrecida en los documentos antes citados.
Procedimiento general de transformacin a la escala 1-6:
Las puntaciones en los Bloques de Contenidos, Elementos de Competencia y
Dimensiones de Competencia se expresan en una escala discreta de 1 a 6.
El mtodo empleado para obtener la puntuacin discreta a partir de la puntuacin
directa de cada magnitud es el siguiente:
1. Se divide el rango de valores de la magnitud, [Mnimo valor, Mximo valor], en
seis tramos de la misma amplitud.
2. Se asigna a cada valor directo de la magnitud el nmero de orden
correspondiente al tramo que lo contiene.
Informe de competencias del alumnado:
Puntuacin directa:
Se obtiene como la suma de las puntuaciones registradas en cada tem de la
prueba.

Puntuacin en cada Bloque de Contenido

1. Se calcula la suma de las puntuaciones de los tems relacionados con el
correspondiente bloque de contenido.
2. Se transforma la puntuacin directa del Bloque de Contenido obtenida en
el paso anterior a la escala 1-6 de acuerdo con el procedimiento general de
transformacin.
Puntuacin en cada Elemento de Competencia
1. Se calcula la suma de las puntuaciones de los tems relacionados con el
correspondiente Elemento de Competencia ponderado en el caso de las
pruebas de Matemticas por el peso del tem en dicho Elemento de
Competencia.
2. Se transforma la

puntuacin directa del Elemento de Competencia

obtenida en el paso anterior a la escala 1-6 de acuerdo con el

procedimiento general de transformacin.
Puntuacin en cada Dimensin
1. Se calcula la suma de las puntuaciones de los Elementos de Competencia
relacionados con la correspondiente Dimensin.
2. Se transforma la puntuacin directa de la Dimensin obtenida en el paso
anterior a la escala 1-6 de acuerdo con el procedimiento general de
transformacin.
Puntuacin Transformada de Unidad/Grupo, PTUG
Se obtiene transformando el promedio de las puntuaciones directas del
alumnado de la Unidad/Grupo, MPDAUG, utilizando la media, MP, y desviacin tpica,
DTP, de las puntuaciones directas del alumnado participante en la prueba, segn la
siguiente expresin:
PTUG = 500 + 100 (MPDAUG MP)/ DTP
El resultado se visualiza en el diagrama de barras comparativo.

Puntuacin Transformada de Centro, PTC

Se obtiene transformando el promedio de las puntuaciones directas del
alumnado del Centro, MPDAC, utilizando la media, MP, y desviacin tpica, DTP, de las
puntuaciones directas del alumnado participante en prueba, segn la siguiente
expresin:
PTC = 500 + 100 (MPDAC MP)/ DTP
El resultado se visualiza en el diagrama de barras comparativo

Informe de competencias de la Unidad/Grupo:

Puntuacin directa y transformada de la Unidad/Grupo
La puntuacin directa se obtiene como el promedio de las puntuaciones
directas del alumnado de la Unidad/Grupo.
La puntuacin transformada se calcula segn la frmula descrita anteriormente
para este indicador que figura tambin en el informe individual del alumnado.
Puntuacin en cada Bloque de Contenido de la Unidad/Grupo
1. Se calcula como el promedio de las puntuaciones directas en los bloques
de contenido del alumnado de la unidad/grupo
2. Se transforma el promedio de cada Bloque de Contenido obtenido en el
paso anterior a la escala 1-6 de acuerdo con el procedimiento general de
transformacin.
Puntuacin en cada Elemento de Competencia de la Unidad/Grupo
1. Se calcula como el promedio de las puntuaciones directas obtenidas en
cada Elemento de Competencia del alumnado de la unidad/grupo.

2. Se transforma el promedio de cada Elemento de Competencia obtenido en

el paso anterior a la escala 1-6 de acuerdo con el procedimiento general de
transformacin.
Puntuacin en cada Dimensin de la Unidad/Grupo
1. Se calcula como el promedio de las puntuaciones directas obtenidas en
cada Dimensin del alumnado de la unidad/grupo.
2. Se transforma el promedio de cada Dimensin obtenido en el paso anterior
a la escala 1-6 de acuerdo con el procedimiento general de transformacin.

Informe de competencias del Centro:

Puntuacin directa y transformada del Centro
La puntuacin directa se obtiene como el promedio de las puntuaciones
directas del alumnado del Centro.
La puntuacin transformada se calcula segn la frmula descrita anteriormente
para este indicador que figura tambin en el informe individual del alumnado.

Puntuacin en cada Bloque de Contenido del Centro

1. Se calcula como el promedio de las puntuaciones directas en los bloques
de contenido del alumnado del Centro
2. Se transforma el promedio de cada Bloque de Contenido obtenido en el
paso anterior a la escala 1-6 de acuerdo con el procedimiento general de
transformacin.
Puntuacin en cada Elemento de Competencia del Centro
1. Se calcula como el promedio de las puntuaciones directas obtenidas en
cada Elemento de Competencia del alumnado del Centro

2. Se transforma el promedio de cada Elemento de Competencia obtenido en

el paso anterior a la escala 1-6 de acuerdo con el procedimiento general de
transformacin.
Puntuacin en cada Dimensin del Centro
1. Se calcula como el promedio de las puntuaciones directas obtenidas en
cada Dimensin del alumnado del Centro.
2. Se transforma el promedio de cada Dimensin obtenido en el paso anterior
a la escala 1-6 de acuerdo con el procedimiento general de transformacin.

ANEXO. RELACIONES ENTRE TEMS, BLOQUES DE CONTENIDO, ELEMENTOS

DE COMPETENCIA Y DIMENSIONES EN CADA PRUEBA
1.COMPETENCIA MATEMTICA PRIMARIA

BLOQUES DE CONTENIDOS
1. Aritmtica y medida
2. Geometra
3. Representacin de la Informacin

ITEMS
1,2,4,11,12,13,16,17,18
3,5,6,7
8,9,10,14,15

ELEMENTOS DE COMPETENCIA

TEMS (*2)

ITEMS (*1)

1. Traduce situaciones reales a

1, 5,13

esquemas o estructuras matemticas

2. Ordena informacin utilizando

2,8,14,16

procedimientos matemticos
3. Utiliza formas adecuadas de

3,17

2,14,15,16

naturaleza de la situacin
4. Selecciona los datos apropiados para

1,9,10,12,18

resolver un problema
5. Comprende la informacin presentada

8,9,10,11,12, 17

en un formato grfico
6. Identifica el significado de la

4,6,8,9,10,11,12,17

informacin numrica o simblica

7. Expresa correctamente los resultados

9,12,15

obtenidos al resolver problemas

8. Justifica resultados expresando

10,11

1,4,13,18

18

1 ,4,10,11,12,13

representacin segn el propsito y

argumentos con una base matemtica

9. Selecciona estrategias adecuadas
(*1) tem ponderado con peso 1
(*2) tem ponderado con peso 2

DIMENSIN
1. Organizar, comprender e interpretar

ELEMENTOS DE COMPETENCIA
2,5,6

informacin
2. Expresar
3,7,8
3. Plantear y Resolver Problemas
1,4,9
2. COMPETENCIA MATEMTICA SECUNDARIA:

BLOQUES DE CONTENIDOS
1. Nmeros y medida
2. Geometra
3. Funciones y su representacin

ITEMS
1,2,3,4,5,6
7,8,9
10,11,12,13

4. Estadstica y azar

14,15,16,17

ELEMENTOS DE COMPETENCIA
1. Identifica el significado de la

ITEMS (*2)
1

ITEMS (*1)
2,3,4,5

informacin numrica y simblica

2. Justifica resultados expresando

2,5

1,4,12,13,14,15,16,

argumentos con una base

17

matemtica
3. Comprende la informacin

3,8,13,14

presentada en un formato grfico

4. Traduce las situaciones reales a

4,17(*)

1,2,5,6,15,16

1,2,3,4,5,6,7,13,15,

esquemas o estructuras matemticos

5. Selecciona estrategias adecuadas
6. Valora la pertinencia de diferentes

16,17
7

1,2,5

una base matemtica

7. Se expresa utilizando vocabulario y

11,7

smbolos matemticos bsicos

8. Ordena informacin utilizando

10,16

11

procedimientos matemticos
9. Utiliza formas adecuadas de

11

10,13,14,16

vas para resolver problemas con

representacin segn el propsito y

naturaleza de la situacin
10. Selecciona los datos apropiados para 12(*),15(*)

1,2,4,5,6, 13,14,16

resolver un problema
(*) tem ponderado con peso 3

DIMENSIN
1. Organizar, comprender e interpretar

ELEMENTOS DE COMPETENCIA
1,3,8

informacin
2. Expresar
3. Plantear y Resolver Problemas

2,7,9
4,5,6,10

3. COMPETENCIA COMUNICACIN LINGSTICA PRIMARIA

ELEMENTOS DE COMPETENCIA
1. Comprender el sentido global de los

TEM DE LA PRUEBA
1, 2, 3

textos orales y reconocer las ideas

principales y secundarias.
2. Comprender el vocabulario bsico de
3.

textos orales y escritos.

Resumir un texto escrito sencillo,

6,7,18
11,13,14

captando su sentido global y las ideas

principales y secundarias
4. Expresarse de forma oral, ...
5. Usar textos adecuados a su edad para

No se evala en esta prueba.

4,5,6,7,8,15,16,17

extraer informacin.
6. Producir textos con una estructura

10,16,17,19

narrativa o descriptiva coherente,

aplicando tcnicas sencillas de
redaccin y unas normas ortogrficas
bsicas, cuidando la caligrafa, el
orden y la presentacin.
7. Respetar y valorar la riqueza lingstica

12

de Espaa y reconocer la modalidad

lingstica andaluza, valorndola
positivamente
8. Identificar las partes de un texto escrito.
9. Comentar textos sencillos atendiendo

4,15,16,17
6,9

principalmente a su contenido

DIMENSIN
1. Comprensin Oral
2. Comprensin Lectora
3. Expresin escrita

ELEMENTOS DE COMPETENCIA
1,2,7
2,3,5,8,9
6,9,19

4. COMPETENCIA COMUNICACIN LINGSTICA SECUNDARIA

ELEMENTOS DE COMPETENCIA
1. Captar la idea esencial de textos orales

TEMS DE LA PRUEBA
1

de diferente tipo y distinto nivel de

formalizacin, reproduciendo su
contenido en textos escritos.
2. Elaborar un resumen de una exposicin
o argumentacin oral sobre un tema

ELEMENTOS DE COMPETENCIA
especfico y conocido.
3. Identificar algunos rasgos lingsticos

TEMS DE LA PRUEBA
2,16

propios de diferentes usos sociales de la

lengua en textos orales y escritos.
4. Captar la idea esencial de textos escritos

7,10,14,15,17,18

con diverso nivel de formalizacin.

5. Extraer informacin precisa en textos

5,10,11,12,14,18

escritos con diferente grado de

formalizacin.
6. Reconocer rasgos lingsticos

dialectales, especialmente del andaluz,

valorando positivamente la riqueza
lingstica de Espaa y la modalidad
lingstica andaluza.
7. Comprender las relaciones entre las

3,7,15,18

ideas de un texto, identificando su

estructura.
8. Interpretar y valorar el contenido de un

1,10,11,13,15,18

texto, de acuerdo no slo con su tema, y

estructura, sino tambin en relacin con
los conocimientos propios.
9. Reconocer y comprender los rasgos

3,4,12

caractersticos de diversos tipos de

textos: continuos y no continuos,
literarios y no literarios.
10. Comprender y usar funcionalmente el

6,16

vocabulario bsico y ser capaz de

deducir el significado contextual de las
palabras.
11. Adecuar su expresin escrita a las

6,8,13,18

convenciones ortogrficas y de
puntuacin del espaol actual.
12. Producir textos (orales y escritos)
coherentes con la intencin
comunicativa y adecuados a la situacin

2,4 ,13,18

ELEMENTOS DE COMPETENCIA
de comunicacin, dotados de cohesin y
correccin sintctica y propiedad lxica.
13. Integrar informaciones extradas de

TEMS DE LA PRUEBA

11,12,17

diferentes textos o hipertextos acerca de

un mismo tema para elaborar una
sntesis en que se reflejen las ideas
principales.
14. Comentar textos de diverso tipo

1,16,18

atendiendo a aspectos formales y de

contenido

DIMENSIN
1. Comprensin Oral
2. Comprensin Lectora
3. Expresin escrita

ELEMENTOS DE COMPETENCIA
1,2,3,6,14
3,4,5,7,8,9,10,13,14
2,10,11,12,14

INFORME TCNICO SOBRE ALGUNOS ASPECTOS DE LA ELABORACIN DE

LAS PRUEBAS DE DIAGNSTICO
Comisin tcnica3 para la elaboracin del Marco terico4 y validacin de los
tems de las pruebas.
En el siglo XXI, una de las apuestas ms importantes de los Gobiernos
europeos es la mejora de calidad de la educacin. As, desde la Unin Europea, se
han venido desarrollando una serie de estudios con el propsito de identificar las
competencias consideradas clave para el aprendizaje a lo largo de la vida,
definindose estas competencias como un paquete multifuncional y transferible de
conocimientos, destrezas y actitudes que todos los individuos necesitan para su
realizacin y desarrollo personal, inclusin y empleo. Estas deberan haber sido
desarrolladas para el final de la enseanza o formacin obligatoria, y deberan actuar
como la base para un posterior aprendizaje como parte de un aprendizaje a lo largo de
la vida (Comisin Europea, 2004).
Una de las novedades de la Ley Orgnica de Educacin con respecto la
LOGSE es la evaluacin de diagnstico de las competencias bsicas alcanzadas por
el alumnado al trmino del segundo ciclo de Educacin Primaria y del segundo curso
de la Enseanza Secundaria Obligatoria. Esta evaluacin posee un carcter formativo
y orientador para los centros, e informativo para las familias y la comunidad educativa.
En este sentido, durante el curso 2006-2007 se ha procedido a aplicar por
primera vez las pruebas de la Evaluacin de Diagnstico en los centros educativos
andaluces sostenidos con fondos pblicos, valorando las competencias en
comunicacin lingstica (lengua espaola) y matemticas.
El propsito de este informe es describir el proceso de elaboracin de estas
pruebas. Describiremos, por tanto, las muestras empleadas, la forma en que se
obtuvieron los datos, los procedimientos seguidos para la seleccin de los tems que
forman parte de las pruebas, las caractersticas que poseen estos tems y, finalmente, el
modo en que se asignan puntuaciones a los alumnos evaluados a partir de una escala de
seis niveles de competencia para cada una de las dos competencias y etapas educativas.

Comisin constituida por cuatro profesores del Departamento de Mtodos de Investigacin y

Diagnstico en Educacin (Universidad de Sevilla)
4
El Marco terico ha sido informado favorablemente por la ctedra de Teora e Historia de la
Educacin (Universidad de Sevilla)

1. NATURALEZA DE LAS PRUEBAS DE DIAGNSTICO

La Orden de 28 de junio de 2006, por la que se regulan las pruebas de la
Evaluacin de Diagnstico y el procedimiento de aplicacin en los centros docentes de
Andaluca sostenidos con fondos pblicos y la Resolucin de 22 de agosto de 2006, de la
Direccin General de Ordenacin y Evaluacin Educativa, establece el carcter, la
finalidad y los destinatarios a los que est dirigido la evaluacin de rendimiento, de forma
que las pruebas de diagnstico estn dirigidas a alumnos que han terminado el cuarto
curso de Educacin Primaria y segundo de la Educacin Secundaria Obligatoria.
La evaluacin del rendimiento del alumnado se centra en la valoracin del nivel de
competencias bsicas del alumnado, considerndose con un carcter diagnstico, puesto
que permitirn la identificacin de aspectos susceptibles de mejora en los resultados del
alumnado. Asimismo, esta evaluacin posibilitar la obtencin de informacin para que los
centros docentes tomen decisiones organizativas o curriculares.
2. REDACCIN DE LOS TEMS Y DE LOS CRITERIOS DE CORRECCIN
La redaccin de tems fue llevada a cabo por un panel de expertos, formado por
profesores del rea de enseanza, coordinados por un Inspector de educacin, tomando
como referencia situaciones problema que adoptan diferentes formas: preguntas de
respuesta cerrada, preguntas que exigen el desarrollo de procedimientos de obtencin de
informacin, y preguntas abiertas en las que las respuestas pueden ser de diversa ndole.
En cada una de las competencias bsicas a evaluar se identificaron tems
hasta cubrir todos los elementos de competencia definidos en cada etapa, como se
recoge en la tabla siguiente.
COMPETENCIA
COMUNICACIN
LINGSTICA
SITUACIONES
TEMS
PROBLEMA
EDUCACIN
PRIMARIA
E.S.O.

COMPETENCIA MATEMTICA
SITUACIONES
PROBLEMA

TEMS

15

72

13

54

18

77

34

50

Tabla 1. Distribucin de las situaciones-problema por etapa y competencia evaluada.

Las respuestas a cada tem (aportadas o construidas por el alumno) siguen un

modelo de escala graduada, de tal manera que cabe pensar en una respuesta
correcta, una o ms respuestas parcialmente incorrectas y una respuesta totalmente
errnea. Este tipo de formato aporta informacin al profesorado no slo si un alumno
posee o no la competencia evaluada, sino tambin en qu grado la ha desarrollado,
proporcionando informacin relevante sobre la medida en que su competencia en el
elemento en cuestin es deficitaria y sobre el tipo de apoyos o refuerzos que
requerira.
3. ESTRUCTURACIN DEL BANCO DE TEMS
Partiendo de este material, se han elaborado 16 modelos de pruebas, cuatro
por cada una de las competencias bsicas y etapas consideradas. Cada uno de estos
modelos contiene un nmero limitado de tems, como se recoge en la tabla 2.

COMPETENCIA
Prueba

MATEMTICA

COMPETENCIA
COMUNICACIN
LINGSTICA
EP
ESO
16
10

Modelo A

EP
14

ESO
12

Modelo B

14

13

21

10

Modelo C

13

12

21

10

Modelo D
Total de tems

13
54

13
50

14
60*

10
34*

Tabla 2. Nmero de tems incluidos en cada prueba

* Parte de los tems de estas pruebas se han utilizado
en ms de un modelo

Cabe destacar que todas las competencias objeto de evaluacin contaban con
tems en los diferentes modelos construidos. Asimismo, se decidi que la proporcin
de tems administrados deba ser al menos el triple de los que formaran las pruebas
definitivas, con el propsito de seleccionar los tems con mejor comportamiento
psicomtrico.

4. DISEO Y DESARROLLO DEL ESTUDIO PILOTO

4.1.

Muestra
Para someter a prueba los tems, se han seleccionando un total de 20 centros

de Educacin Infantil y Primaria y 16 Institutos de Enseanza Secundaria, todos ellos

de la provincia de Sevilla. En cada centro, se han elegido al azar, en su caso, dos
grupos de 4 de Educacin Primaria y dos grupos de 2 de ESO, lo que nos lleva a
aproximarnos a los 800 alumnos, partiendo de una estimacin de la ratio que se sita
en los 20 alumnos para Educacin Primaria y los 25 para ESO.
La seleccin de los centros participantes en el estudio piloto se hizo tratando de
incluir diferentes contextos socioeconmicos y culturales, identificando para ello
centros de mbito rural (municipios con menos de 5.000 habitantes), centros de zonas
urbanas deprivadas (ZAEP), y centros urbanos de nivel socioeconmico y cultural
medio o alto.
La distribucin de los centros para la obtencin de las muestras de alumnado,
junto con el total alumnos que han respondido a las muestras se recoge en la tabla 3.

CENTROS

ALUMNOS

URBANOS

URBANOS

N. BAJO

N. MEDIO-ALTO

ETAPAS

RURALES

EP

ESO

TOTAL

LEN

MAT

10

20

804

821

16

700

674

Tabla 3: Distribucin de los centros para la obtencin

de las muestras de alumnado

4.2.

Aplicacin de las pruebas

La administracin de las pruebas se ha realizado en el curso 2005/2006,

corriendo a cargo la aplicacin de Inspectores y profesores de los niveles de
Educacin Primaria y ESO.
En cada uno de los centros seleccionados, los alumnos han respondido a la
prueba de matemticas y a la comunicacin lingstica, dedicando a esta tarea dos
das consecutivos en los que la aplicacin ha tenido lugar preferiblemente en las
primeras horas de la jornada escolar, en sesiones con una duracin de 90 minutos,
con un descanso de 15 minutos a mitad de la aplicacin.
4.3.

Correccin y tabulacin
La correccin de las pruebas fue realizada por el mismo profesorado que ha

participado en la aplicacin de las mismas. Cabe destacar que la mayor parte de las
preguntas formuladas requieren respuestas libres de los alumnos evaluados, por lo
que al tiempo que se redactaron los tems, se defini una plantilla de correccin. En
esta plantilla, se explicitan los criterios a seguir para considerar que una respuesta es
correcta, parcialmente correcta o errnea.
Las respuestas de los alumnos fueron trasladadas a hojas de clculo, de forma
que cada fila se corresponde con un sujeto, y cada columna con cada uno de los tems
de las pruebas. Antes de proceder a analizar los tems, se llev a cabo un estudio
descriptivo de las respuestas, con el propsito de detectar y corregir errores ocurridos
en el proceso de tabulacin de datos.
5. SELECCIN DE LOS TEMS
Administrado el conjunto de tems inicial para cada una de las competencias y
etapas en las que se ha centrado la evaluacin, se ha procedido a seleccionar
aquellos que podran resultar ms adecuados desde el punto de vista psicomtrico.
Para ello, se han utilizado los siguientes criterios:

Se han excluido los elementos para los cuales algunas de las calificaciones
posibles no ha sido asignada a ninguno de los sujetos evaluados. En la
prctica, tales tems no contaran con las tres categoras de respuesta en
funcin de las cuales fueron diseados. Esta situacin se ha dado nicamente

en el caso de las pruebas de Matemticas y en la de comunicacin lingstica

para la Educacin Primaria.

Adoptando modelos logsticos de la Teora de Respuesta al tem (TRI), hemos

descartado los elementos que carecen de bondad de ajuste al modelo de
crdito parcial generalizado (Muraki, 1992) o al modelo de respuesta graduada
(Samejima, 1969). Se ha usado como nivel de significacin =0.05, recurriendo
a un estadstico chi-cuadrado para medir la bondad de ajuste al modelo
logstico de referencia.

Atendiendo a la dificultad, se han eliminado los tems con una dificultad muy
baja que podran ser respondidos por la totalidad del alumnado, y aquellos que
requeran un alto nivel de capacidad para ser respondidos correctamente.

Cobertura de las competencias evaluadas. Los tems resultantes han sido

ubicados en las matrices de especificaciones a partir de las cuales se
construyeron las pruebas. Para aquellas celdas en las que se concentra un
mayor nmero de elementos, se ha descartado a algunos de ellos para reducir
la extensin de las pruebas. Tambin se han incluido tems con el objetivo de
cubrir en lo posible las diferentes competencias, y en su caso contenidos de la
matriz, as como equilibrar el peso de las mismas en la prueba.

6. PUNTUACIN E INTERPRETACIN DE LAS RESPUESTAS

Asumiendo que la distribucin de las puntuaciones de los sujetos evaluados es
5

normal , se ha transformado la escala original en una escala con media 500 y

desviacin tpica 100, siguiendo los estudios realizados por PISA (Proyecto
Internacional para la Produccin de Indicadores de Rendimiento de los Alumnos). Por
tanto, el 66,7% de las puntuaciones estn comprendidas entre los 400 y los 600
puntos, como podemos comprobar si analizamos la figura 1.
Estas puntuaciones se han identificado con seis niveles de diferentes de
competencia, graduados desde 1 a 6, para los cuales se han establecido puntos de
corte equidistantes para generar los seis intervalos de puntuaciones necesarios.
5

Si representamos las puntuaciones de los sujetos en un histograma (en el que el rea de los rectngulos
sea proporcional a la frecuencia representada) y unimos los puntos medios de los intervalos, obtenemos
una curva con forma parecida a una campana. Esta curva recibe el nombre de de Curva normal o de
campana de Gauss (ver figura 1).

25 %

16 %

25 %

16 %

9%

9%

366

433

500

567

634
Competencia

Figura 1. Niveles de competencias de acuerdo al modelo normal y porcentaje de

sujetos distribuidos en los seis intervalos

Sevilla, noviembre de 2006