CONSTRUCCIN DE UN BANCO DE ITEMS INFORMATIZADO EVALUACIN DE CONOCIMIENTOS SOBRE UNA MATERIA UNIVERSITARIA1 Rafael Jess Martnez Cervantes y Rafael

Moreno Rodrguez2 Universidad de Sevilla

PARA

LA

Publicado en: J. M. de Mesa, R. Castaeda y L. M. Villar (eds). Asegurar la calidad en las universidades (vol. II). Actas de las III Jornadas Andaluzas de Calidad en la Enseanza Universitaria: Universidad de Sevilla, 2002. 329-344.

RESUMEN Se expone el proceso de construccin de un banco de items informatizado como herramienta de aprovechamiento y mejora de la evaluacin de conocimientos sobre una materia universitaria. Se tom como material de partida las pruebas utilizadas en las convocatorias oficiales de la asignatura de Fundamentos Metodolgicos en Psicologa de la Universidad de Sevilla, desde el curso 1994/95 hasta el 2000/2001 con un total de 570 items. Se describe el diseo sistemtico de dichos exmenes, as como el archivo y correccin automtica de las respuestas de los alumnos. Con esa informacin se procedi a un anlisis de las propiedades psicomtricas tanto de las pruebas como de cada tem, y al diseo de la base de datos en la que archivar esos contenidos y propiedades. Finalmente se valoran las principales ventajas e implicaciones de los bancos de items informatizados. ABSTRACT The construction of a computerized item-bank is described as a tool for improving the evaluation of knowledge about university subjects. The raw material consisted of the tests used in the official exams of the course entitled Fundamentals of Methodology in Psychology held at the University of Seville from 1994 to 2001, with a total of 570 items. Both the systematic design of such exams and the automatic scoring of students answers are described. An analysis of the psychometric properties of every test and item was made using that information, with a database being designed to store item contents and properties. Finally, different advantages and implications of such computerized item-banks are discussed.

Este trabajo fue parcialmente financiado en la Convocatoria de Ayudas a la Docencia para la Innovacin del ICE de la Universidad de Sevilla para el curso 2000-2001 .
2

Departamento de Psicologa Experimental. Universidad de Sevilla. C/ Camilo Jos Cela s/n 41005 SEVILLA. Correo-e.: rmoreno@psicoexp.us.es; rmcervan@psicoexp.us.es;

En el mbito de la educacin universitaria, la evaluacin del rendimiento es parte consustancial de la enseanza y por tanto de las actividades de su profesorado. Puesto que esta evaluacin tiene repercusiones de tipo legal al determinar aspectos tales como la adquisicin de ttulos acadmicos y capacitacin profesional, es imprescindible que dicha tarea se llegue a realizar con las garantas adecuadas de igualdad, mritos y capacidad de las personas evaluadas. Estos mismos planteamientos son aplicables tambin a pruebas de acceso a la universidad y de destrezas de postgraduados como en los exmenes M.I.R. o P.I.R. Para dar respuestas a estas necesidades, desde las perspectivas educativas y de la evaluacin psicolgica actuales se considera que el disponer de bancos de items amplios y de calidad es una herramienta importante. Un banco de items no es simplemente una coleccin de preguntas. Supone un conjunto de preguntas relativas a un determinado dominio de conocimientos o de destrezas, almacenadas y clasificadas en funcin de los componentes de ese contenido que cada una evale, y de sus propiedades psicomtricas -tales como la dificultad y la capacidad de cada tem para discriminar entre los examinandos con suficientes conocimientos y sin ellos (Muiz, 1998)-. Aunque no es frecuente hacerlo, las preguntas tambin pueden clasificarse con arreglo a diversos aspectos de su formato por ejemplo por tipo de pregunta abierta o cerrada, de eleccin dicotmica o mltiple, y por otras caractersticas como su longitud y claridad de redaccin- (Martnez, Moreno y Carmona, 2001). Las principales ventajas de un banco de items son las siguientes: 1) Su construccin favorece la especificacin del contenido a evaluar y aspectos del formato con que se evala, 2) aporta adems conocimiento de propiedades psicomtricas de cada tem. Una vez construido, y sobre la base de las asociaciones que contiene entre cada tem y sus propiedades, 3) el banco permite seleccionar a aquellos de sus items que vayan a componer una determinada prueba en funcin de las propiedades psicomtricas, contenido y formato que interese aplicar en cada momento, y 4) por ltimo sirve tambin de gua para construir nuevos items que amplen dicho banco y que posean el contenido y las propiedades psicomtricas que en cada caso convengan. En la actualidad, los bancos de items llegan a cobrar pleno sentido en el contexto de un sistema de evaluacin informatizado, posibilitado sobre todo por la difusin de la infraestructura tecnolgica necesaria (Barbero, 1996). La tecnologa informtica aporta grandes ventajas de eficiencia, rapidez y facilidad a la evaluacin de conocimientos y aptitudes, tanto en la construccin y archivo de los items con determinadas caractersticas y propiedades como en la recuperacin o muestreo selectivo de estos items para una prueba determinada. En el mbito universitario espaol es muy poco frecuente la construccin y uso de estos bancos de items informatizados y susceptibles de ser renovados de modo permanente. Es cierto que gran parte del profesorado probablemente acumula y conserva las pruebas que realiza en los sucesivos cursos acadmicos, y tambin que en general mejora con ellas su habilidad para confeccionarlas. Sin embargo, la mayora de las veces ello se hace de manera intuitiva y no estructurada. Menos frecuente an es la evaluacin sistemtica de la calidad psicomtrica por ejemplo dimensionalidad, dificultad y capacidad discriminativa- de las pruebas realizadas, cercenndose con ello la posibilidad de mejorar de modo sistemtico la calidad de nuevas pruebas por construir. A pesar de esta situacin consideramos que hoy da resulta factible introducir en la prctica de la evaluacin universitaria la construccin de bancos de items informatizados a) que permitan aprovechar de manera sistemtica la informacin contenida en las pruebas ya realizadas de muchas asignaturas universitarias, y b) que puedan convertirse en la base para la construccin de nuevos items y pruebas con estimacin de las propiedades psicomtricas deseadas.

El objetivo del presente trabajo es mostrar la factibilidad de esas posibilidades en la actividad del profesorado universitario de nuestro entorno econmico y cultural actual. En concreto, pretendemos describir el proceso de construccin de un banco de items informatizado a partir de pruebas ya aplicadas en cursos anteriores en una materia universitaria, como en nuestro caso son las preguntas de eleccin mltiple utilizadas desde el curso 1994-95 en la asignatura Fundamentos Metodolgicos en Psicologa, perteneciente a la licenciatura de Psicologa de la Universidad de Sevilla. MTODO Sujetos Alumnos matriculados en la asignatura de Fundamentos Metodolgicos en Psicologa (FMP) y que se presentaron a las convocatorias oficiales desde el curso 1994/95 hasta el curso 2000/2001. Instrumentos Pruebas utilizadas en las convocatorias oficiales de FMP desde el curso 1994/95 hasta el curso 2000/2001. Se trata de 19 pruebas con 30 preguntas de alternativas mltiples cada una, que suponen un total de 570 items. Infraestructura informtica compuesta por diversos programas comerciales en sucesivas versiones actualizadas y distintos equipos de ordenadores personales . Para la edicin de los textos y preguntas de las pruebas de examen se utilizaron como procesadores de texto los programas WordPerfect y Word . Para la correccin y anlisis estadstico de las respuestas se utiliz el programa SPSS, as como el programa MicroCATTM Testing System para el anlisis psicomtrico de las pruebas. Las capacidades de procesamiento y memoria de los ordenadores utilizados han ido evolucionando de forma paralela a los programas, desde unos primeros equipos compuestos por ordenadores personales PC 486 y HD 80 Mb, hasta ordenadores Pentium III con HD de 20 Gb. Procedimiento El proceso de construccin del banco de items ha supuesto la sucesin de las etapas que a continuacin se describen. Construccin sistemtica de pruebas. Antes de considerar siquiera la elaboracin de un banco de items, se dispona de las pruebas aplicadas en cursos anteriores. Esas pruebas haban sido construidas cada ao por los profesores de la asignatura (que entonces eran Salvador Chacn y los autores de este trabajo) de una manera sistemtica. Sin embargo, esa sistematizacin no es imprescindible para llegar a tener un banco de items. Puede servir igualmente toda coleccin de pruebas ya aplicadas y corregidas. En todo caso el procedimiento seguido por nosotros es el siguiente (ver diagrama 1). En los tres primeros meses de cada curso acadmico construimos simultneamente todas las pruebas requeridas para las tres convocatorias -Febrero, Septiembre y Diciembre- existentes en nuestra asignatura, que es de primer cuatrimestre. La construccin de las pruebas comienza con la delimitacin del universo de contenidos a evaluar en trminos de una Tabla de especificacin (Lpez y otros, 1995). Sigue el muestreo de los contenidos que van a componer cada prueba, decidindose sobre los que se van a preguntar en cada examen. Cada ao se decide por consenso de los profesores de la asignatura el procedimiento de muestreo a seguir de entre los disponibles (Moreno, Martnez y Chacn, 2000). A veces se hace un muestreo de

CONTENIDOS METODOLGICOS
(Tabla de especificacin)

MUESTREO

Bloque 1 (Caso prctico + 15 items)

(...)

Bloque 6 (Caso prctico + 15 items)

ASIGNACIN (2 casos por prueba)

PRUEBA 1

PRUEBA 2

PRUEBA 3

DISTRIBUCIN ALEATORIA

FEBRERO

SEPTIEMBRE

DICIEMBRE

contenidos a partir de cada subapartado, y otras se hace slo a partir de algunos de los subapartados elegidos previamente. Esas elecciones se realizan a veces intencionalmente, tratando de que estn incluidos los subpartados considerados ms relevantes, y otras veces se hacen por procedimientos aleatorios.

Para esas elecciones se tiene en cuenta que el objetivo es construir seis bloques distintos, dos por prueba. Cada bloque consta de un caso prctico, consistente en la descripcin de una actuacin profesional o de una investigacin formal psicolgica en forma de resumen utilizado por la revistas de Psicologa. Respecto a cada caso prctico se construyen 15 preguntas acerca de la materia constituyente de la asignatura. Con el uso de los casos prcticos se pretende limitar el aprendizaje meramente memorstico, y fomentar la adquisicin de habilidades metodolgicas representativas de las que el estudiante evaluado va a necesitar en su futura prctica profesional. Ms que evaluar si los examinandos saben exponer o identificar una serie de nociones de la materia, nos interesa si son capaces de aplicar ese conocimiento a situaciones reales y analizarlas metodolgicamente. Una vez definidos los contenidos a incluir en cada bloque, la construccin de stos se realiza de la siguiente manera. Se decide al azar qu dos bloques cada uno con un caso prctico y 15 preguntas- debe construir cada profesor. Cada caso prctico es construido bien ex novo, bien extrado tal cual de la literatura o bien adaptado a partir de alguno existente en ella, pero siempre con el criterio de que contenga los contenidos que han sido muestreados. A continuacin se construyen los 15 items que deben evaluar los contenidos incluidos en cada caso prctico. Todos los items tienen el mismo formato de eleccin mltiple cerrada con seis alternativas de respuesta, cuatro especficas de cada tem y dos ms Todas la anteriores, y Ninguna de las anteriores- que aparecen tan slo en las instrucciones y en un recordatorio en la parte superior de cada pgina de la prueba. A pesar de que el uso de estas dos ltimas alternativas est en d iscusin en la literatura de construccin de items, optamos por seguir usndolas dado que dicha literatura no aporta datos claros sobre ellas y que sin embargo s estamos obteniendo a travs de nuestros exmenes. En la construccin de cada pregunta tratamo s de aplicar las diferentes reglas que ofrece la bibliografa (ver por ejemplo, Bartolom, 1993, Roid y Haladyna, 1982; Haladyna, 1994; Osterlind, 1989). En general esas reglas intentan que el contenido que se desea preguntar quede bien especificado en los items, y que no aparezcan claves adicionales de formato que orienten indebidamente sobre la respuesta correcta al sujeto sin los conocimientos suficientes, o confundan o desorienten a los sujetos que s los tengan (Martnez, Moreno y Carmona, 2001). Todo ese material es elaborado con un procesador informtico de textos que facilita su edicin y el proceso de revisin que se inicia aproximadamente un mes antes de la celebracin de cada examen. En esta ltima etapa, se decide al azar o intencionalmente qu dos casos prcticos y sus correspondientes preguntas van a ser emparejados para constituir cada una de las tres pruebas del curso, y aleatoriamente qu prueba va a aplicarse en cada una de las tres convocatorias. Tras esto, los profesores revisan individualmente el material construido para el examen ms prximo. Una vez que identifican posibles dificultades de contenido y formato que puedan tener los casos prcticos y preguntas, ponen en comn sus opiniones y deciden las modificaciones a introducir. Ese proceso se realiza hasta decidir que la prueba est lista para ser usada, lo que ocurre normalmente despus de dos o tres revisiones. Tras stas, cada prueba es confeccionada en ocho pginas, que para mejor manejo de los alumnos y economa de papel son convertidas en copistera en dos hojas grapadas e impresas por ambas caras. En la ltima aparece la Hoja de Respuestas con la peticin de los datos identificadores de cada examinando y una tabla con treinta celdas a rellenar con los dgitos correspondientes a la alternativa elegida como correcta en cada pregunta. Archivo informatizado y correccin automtica de respuestas de los sujetos. El archivo informtico de las respuestas de los examinandos se ha venido realizando hasta ahora de forma manual por parte de los distintos profesores que impartan la asignatura. Este procedimiento

consiste en la edicin y grabacin mediante un procesador de texto de un archivo en formato ASCII de los datos de identificacin y las alternativas de respuestas elegidas por los alumnos. Este archivo queda configurado como texto fijo en el cual las columnas estn asignadas de forma predeterminada a cada campo, desde los datos identificadores de apellidos y nombre (columnas 1 a 33) hasta las respuestas a cada tem de la prueba (columnas 34 a 64), correspondiendo cada fila a los datos de cada alumno. En las columnas de respuestas se identifica con dgitos de 1 a 6 la alternativa elegida, y con un 9 la pregunta que no es contestada. Este tipo de formato facilita las funciones de importacin de datos desde los distintos programas de anlisis utilizables (en nuestro caso MicroCAT y SPSS). En el SPSS las funciones de importacin se despliegan de manera interactiva desde el men Archivo. En cambio en el MicroCAT la importacin es directa, siendo necesario aadir a los ficheros lneas de comandos que indiquen el nmero de preguntas de la prueba, las preguntas no contestadas, la clave de correccin para cada pregunta, el nmero de alternativas y qu preguntas se van a incluir en el anlisis. Una vez importados los datos y para restar los posibles aciertos al azar de la puntuacin total, elaboramos un programa de correccin automtica mediante comandos de sintaxis para SPSS (Anexo I). Con este mismo programa y paquete estadstico se obtiene la calificacin cualitativa y numrica de cada alumno y se facilita una serie de anlisis descriptivos de las pruebas (tales como distribuciones de frecuencias, medidas de dispersin, de tendencia central, y estudios de la dimensionalidad). Adems se realiza un anlisis psicomtrico de las pruebas para evaluar su consistencia interna, en nuestro caso a travs del ndice alfa de Cronbach y el de Spearman-Brown de dos mitades, y mostrando para cada tem sus ndices de dificultad (en proporciones de aciertos) y de discriminacin entre sujetos hbiles y no (mediante sus correlaciones biseriales tem-test corregidas). Un diagnstico ms pormenorizado de cada tem es realizado con el programa MicroCAT, obteniendo para cada uno un ndice de discriminacin basado en la diferencia de los porcentajes de aciertos en los grupos extremos de baja y alta habilidad, as como la distribucin de las respuestas por alternativas en ambos grupos. Construccin de la base de datos inicial, previa al banco de items. Para llegar a tener el banco de items es preciso confeccionar previamente una base de datos, en nuestro caso a partir de los exmenes realizados en aos anteriores. A tal fin utilizamos como software el programa Microsoft Access versin 2000 por su versatilidad y facilidad de uso, aunque cabe cualquier otro adecuado incluyendo los especficamente diseados para bancos de items (como por ejemplo el programa Bankit ). La construccin de nuestra base comenz con la definicin de dos tablas diferentes. Una referida al contenido y a diferentes caractersticas de los items, y otra a sus propiedades psicomtricas. Aunque se poda haber confeccionado una sola tabla con toda la informacin, preferimos la divisin mencionada por permitir una mayor modularidad y distribucin de tareas. La primera tabla fue definida del siguiente modo. Siguiendo el programa utilizado, debe comenzarse por crear una nueva base de datos pulsando en el icono de Nueva base o a travs del men Archivo, abrir. Tras dar nombre a dicha base, y pulsar en Enter, en el men de la izquierda de la ventana que aparece debe pulsarse en la entrada Tabla y despus en Crear una tabla en vista diseo (ver figura 1), aunque tambin puede elegirse la entrada Crear una tabla utilizando el asistente siguiendo en tal caso las instrucciones que ste va mostrando. En la primera forma, para cada campo a crear aparecen las columnas Nombre del campo, Tipo de datos y descripcin. En nuestro caso creamos los siguientes: Nmero identificador de cada tem (dgitos desde el 1 en

adelante), Curso acadmico en el que se utiliz (con cuatro dgitos), Convocatoria de la prueba (Febrero, Septiembre o Diciembre), Caso prctico dentro de la prueba (1 o 2), Texto del caso prctico, Enunciado del tem y Alternativas de respuesta. El programa pide adems definir el tipo y tamao de cada campo. En nuestro caso el identificador de cada item, y el de cada Caso son numricos, con tamao definido -de entre los que ofrece el programa- como entero para el primero y como byte para el segundo. Los campos de Curso, Convocatoria y Enunciado de cada pregunta son de tipo texto, con tamao respectivamente de 10, 50 y 255 caracteres, mientras que el de Alternativas de respuesta tuvo que ser definido de tipo memo puesto que sobrepasaba los 255 caracteres que el programa admite como mximo para el tipo texto. Por ltimo, el campo para el Texto del caso prctico fue de tipo hipervnculo con el fin de introducir slo el nombre del fichero donde se encuentra cada caso y no todo su texto. Estos ficheros se confeccionaron con un procesador de textos a partir de las pruebas aplicadas, denominando a cada fichero con el ao, convocatoria y nmero de caso al que corresponde; por ejemplo el fichero 1998F1 contiene el primer caso de la convocatoria de Febrero del ao acadmico indicado.

Figura 1.- Ventana con los diferentes mens para la creacin de tablas en una base de datos. A continuacin se elabor la tabla de propiedades estadsticas, siguiendo en este caso la opcin de Crear una tabla utilizando el asistente. El primer campo de esta tabla es el identificador de cada Item, con nombre y tipo idntico al de la tabla anterior. A continuacin una serie de campos recogen datos sobre las condiciones de aplicacin, en concreto la Posicin o nmero de orden del

tem en la prueba (de tipo numrico y tamao de un byte), la Clave de la respuesta correcta (del mismo tipo y tamao que el anterior) y el tamao de la Muestra de alumnos presentados (de tipo numrico y tamao entero ). El resto de los campos, todos de tipo numrico y tamao doble , recogen las caractersticas psicomtricas de los items obtenidas mediante el programa MicroCAT. De stos, los cuatro primeros describen al tem en referencia a la alternativa correcta y son el ndice de discriminacin (d), de dificultad (ID), la proporcin de aciertos en los grupos extremos de sujetos hbiles o competentes (Pc) e inhbiles (Pi), y la correlacin biserial-puntual corregida entre los aciertos en el tem y la puntuacin total obtenida en la prueba por la muestra de sujetos (rbp). El resto de campos de la tabla repetan la informacin contenida en estos cinco ltimos campos pero en referencia a cada una de las alternativas de respuesta. Para denominar a dichos campos se utiliz las mismas races anteriores, a las que se le aada un nmero final de 1 a 6 para sealar a qu alternativa correspondan (por ejemplo ID6, Pc3 o rbp4). Para establecer el necesario vnculo entre las dos tablas previamente elaboradas se utiliz la opcin Relaciones del men Herramientas. A continuacin se seleccionaron dichas tablas, que para ser vinculadas deben contener ambas un mismo campo de tipo Clave, con igual denominacin y caractersticas y que en nuestro caso era el campo tem. El programa Access utilizado identifica de forma automtica estos campos comunes relacionando as a ambas tablas. Creadas y vinculadas las tablas el siguiente paso es introducir los datos de cada tem.

Figura 2.- Ejemplo con datos ya introducidos del formulario Enunciado, alternativas y propiedades. A tal fin el programa utilizado permite crear un formulario . Para ello debe pulsarse en Formulario en la misma ventana donde se hizo en Tabla (ver figura 1), y despus en Crear un formulario en vista diseo. En este caso sin embargo para mayor comodidad preferimos optar por la opcin Crear un formulario utilizando el asistente. Siguiendo las sucesivas ventanas de esta ayuda, debe ir sealndose los campos ya creados que se desean incluir en el formulario, su distribucin espacial, estilo de presentacin grfica y ttulo que se le desea dar. Una vez que se ejecuta esa

definicin, pueden introducirse las modificaciones que se estimen oportunas bien desde la tabla redefiniendo por ejemplo el tamao de un campo-, volviendo a usar el Asistente, o directamente en el formulario usando el ratn al modo usual de Windows. De ese modo configuramos un formulario como el que aparece en la figura 2, poniendo especial atencin a que cada tem cupiera en una sola pantalla, para as facilitar una visualizacin ms cmoda de todos sus campos. Disponiendo ya del formulario, la siguiente tarea consiste en pasar a l los datos de las tablas. En un principio intentamos importar los datos de modo automtico a partir de archivos de datos en formato ASCII. En el caso de la primera tabla, y ante los errores aparecidos en los textos importados, optamos por hacerlo de modo ms directo, usando el siguiente procedimiento. Empezamos creando los registros para los sucesivos items de una prueba, tecleando sus nmeros identificadores. A continuacin, se escriba para el primer tem el Curso acadmico, Convocatoria, nmero del Caso prctico y ttulo con hipervnculo del fichero en donde se encontraba el Texto del caso, copindolo en el resto de items con las funciones Copiar y Pegar de Windows. Con esos mismos comandos se importaban los textos de los Enunciados y Alternativas de respuestas desde los documentos escritos con procesador de textos en los que se tenan las pruebas desde su confeccin. Dado lo repetitivo del procedimiento, esta tarea de importacin de los 570 items no ocup ms de cuatro horas. La importacin de los datos a la tabla de propiedades estadsticas s pudo ser automtica, utilizando ficheros obtenidos con el programa MicroCAT. Estos ficheros contienen en formato ASCII los resultados del anlisis psicomtrico ordenados en columnas correspondientes a los mismos campos de la tabla de propiedades estadsticas anteriormente descrita, con una fila para cada uno de los items analizados. Posteriormente, desde el programa Microsoft Access, y teniendo activada la tabla a la que se van a importar los datos, se seleccion del men Archivo la opcin Obtener datos externos y dentro de este men a la opcin Importar. Aparece a continuacin un cuadro de dilogo para seleccionar el nombre y tipo del archivo del que se van a obtener los datos. En este cuadro, similar al de cualquier programa, es posible explorar los directorios y carpetas del ordenador para seleccionar los archivos pertinentes. En nuestro caso, y una vez seleccionado el archivo, se indicaba que era de tipo texto tras lo cual apareca una ventana con el Asistente para importacin de texto. Este asistente gua con comodidad el proceso de importacin solicitando una serie de datos para detectar la configuracin de la informacin almacenada en el archivo: si est delimitado o es de anchura fija en columnas. Al ser nuestros archivos de texto fijo se deban sealar los cambios de un campo al siguiente mediante lneas con la gua de una regla en pantalla. Finalizaba el proceso al indicar la tabla a la que han de importarse los datos (pudiendo ser una tabla de nueva creacin o una ya existente como fue en nuestro caso). Este proceso no present problemas de importacin en la medida en que se haba cuidado que en el archivo de texto no aparecieran problemas de formato -lo cual se puede revisar mediante un procesador de texto, cuidando de archivar los cambios en formato ASCII- y a que se disearon previamente los campos de la tabla en correspondencia con los datos exportados por el programa de anlisis psicomtrico. Una vez creada la base de datos, incluyendo tanto sus tablas como formularios correspondientes, puede ser considerada un banco de items desde el momento en que incluya sus elementos caractersticos, es decir tanto descripcin y categorizacin de los contenidos de cada tem como indicacin de sus propiedades psicomtricas.

RESULTADOS Tras el procedimiento expuesto obtuvimos un banco de items sobre la asignatura de Fundamentos Metodolgicos en Psicologa con un total de 570 items, 50 campos y un tamao de 5,74 Mbytes. Ese banco de items acumula una amplia informacin sobre los exmenes realizados y cada una de sus preguntas, de la que puede ser extrada o seleccionada la que ms interese en cada momento. Para ello Microsoft -Access ofrece la modalidad de Consultas que puede obtenerse pulsando en la misma ventana de Tabla y Formulario que ya antes hemos mencionado.

Figura 3.- Ventana de Microsoft Access con los mens para realizar consultas a una base de datos. El cuadro de dilogo para las consultas del programa Microsoft Access se divide en dos ventanas. En la superior se deben incluir las tablas de la base de datos de las que se pretende obtener informacin mediante una consulta. En el caso de tablas vinculadas, como es el que nos ocupa, stas aparecen unidas por una flecha bidireccional. Una vez insertadas las tablas deben indicarse en la ventana inferior cada uno de los campos que se quieren mostrar en la consulta, indicando a su vez la tabla de la que proceden los datos, si se quiere un orden ascendente o descendente de los registros a partir de un campo, as como cualquier criterio de seleccin de los registros. En el ejemplo mostrado en la figura 3 se muestra una seleccin de cuatro campos, Item, Curso y Convocatoria de la tabla de enunciados y alternativas y la correlacin biserial-puntual (rbp) de la tabla de propiedades estadsticas. En ese mismo ejemplo el campo Item se utiliza adems para ordenar los registros de forma ascendente y en el campo rbp se ha e stablecido un criterio de seleccin de aquellos items cuyo ndice sea superior a 0,30. El resultado de esta consulta ofrece el conjunto de los items ms discriminativos de los sujetos hbiles de entre todos los utilizados en las pruebas de evaluacin de la asignatura.

10

Algunas de las informaciones que se pueden obtener de este modo a partir del banco de items son las siguientes. Como en el ejemplo recin visto, puede conocerse una determinada caracterstica de un tem como su dificultad o su capacidad para discriminar a los sujetos con amplio conocimiento y a los que no lo tienen. Puede interesar tambin obtener un listado de items atendiendo a un determinado contenido, que alcancen un determinado ndice de dificultad, que discriminen mejor o peor a los examinandos con distintos niveles de conocimientos, o a que no muestren un comportamiento psicomtrico adecuado, por ejemplo por presentar correlaciones negativas con la puntuacin total de la prueba. En general, las consultas pueden utilizarse para listar a conveniencia items que presenten algn rasgo determinado, y a partir de su exploracin tratar de abstraer inductivamente criterios generales y comunes para futuras elaboraciones. CONCLUSIONES El banco de items creado mediante el procedimiento sistemtico descrito permite conocer en detalle los exmenes realizados, as como mejorar otros futuros e investigar sus aspectos de inters. A partir del conocimiento de las caractersticas de contenido de cada tem y de sus propiedades mtricas, el banco permite seleccionar a aquellos de sus items que vayan a componer una nueva prueba por cumplir con los requisitos que se deseen. Se est as en condiciones de hacer una eleccin a la carta de la prueba que se quiera construir; cuando las preguntas estn referidas a casos prcticos, como en nuestros exmenes, los items del banco pueden ser aprovechados adaptndolos al contenido de cada nuevo caso que se construya. Adicionalmente, el conocimiento extrable del banco de items posibilita la construccin de nuevos items con las caractersticas y propiedades que se deseen, ampliando as dicho banco. Para esa construccin futura puede ser til avanzar en la categorizacin del contenido de los items. En la presente versin, el contenido de cada uno es especificado por las temticas del programa de la asignatura, pero en una versin posterior esa diversidad podra ser agrupada en un nmero menor de categoras que facilitasen el anlisis de los items existentes y la construccin de otros nuevos. Una dificultad que conviene tener en cuenta en la elaboracin de bancos de items es la necesaria equiparacin de las propiedades de items y pruebas estimadas con distintas muestras de sujetos de las sucesivas convocatorias. Este aspecto reviste especial importancia cuando se pretende reutilizar los mismos items en nuevas aplicaciones a muestras distintas de sujetos. De ah la importancia de una calibracin de sus propiedades precisa y relativamente independiente de las muestras utilizadas. Aunque en este trabajo no hemos referido este proceso, puesto que nuestro inters principal no era la reutilizacin de items, conviene tener en cuenta que existen distintos procedimientos tcnicos para resolver la equiparacin de las estimaciones (Navas, 1996). A la vista de las posibilidades y beneficios que pueden obtenerse de los bancos de items para la educacin superior, consideramos de inters su divulgacin entre el profesorado universitario. Facilitara analizar sistemticamente las evaluaciones que se vienen realizando y tambin construir nuevas pruebas con una estimacin de las propiedades psicomtricas deseables. Cada banco tendra adems la aplicacin prctica inmediata de poder ser aprovechado por profesores de materias afines para desarrollar sus propias evaluaciones. Compartir esa informacin con profesorado de una misma materia permitira establecer unos procedimientos de evaluacin vlidos relativamente homologables. Este intercambio no slo facilitara una homologacin futura de la evaluacin en el mbito estatal, sino que tambin establecera las bases para responder con rigor a una previsible homologacin que pueda ser planteada en el mbito europeo.

11

Con tal perspectiva, sera ms factible implicar en mayor medida a las instituciones en el proceso de evaluacin universitaria, dejando de ser sta un asunto particular de cada profesor o profesora. Una de las ayudas que podran aportar como instituciones sera la de proveer de recursos tcnicos que sobrepasan las posibilidades de una persona o incluso un departamento, como por ejemplo lectoras pticas para el profesorado que deseara usarlas como medio de correccin de exmenes, y ms an cuando de esa correccin se derivan mayores facilidades para sistematizar el conocimiento y construccin de pruebas como en este trabajo venimos proponiendo. Las posibilidades de los bancos de items se ven potenciadas adems cuando por el modo en que estn construidos facilitan el desarrollo de procedimientos que den respuesta a la necesidad de renovar permanentemente los elementos que lo conforman. Sucede que en gran parte de las evaluaciones ha de evitarse el uso reiterado de unos mismos items, dado que su posible difusin amenaza la validez de la evaluacin de los conocimientos adquiridos por los sujetos. Para responder a este problema, se puede aspirar a generar sistemticamente y de forma permanente nuevas preguntas adecuadas para la evaluacin, logrando bancos de items virtualmente inagotables y vlidos. Se puede aspirar a generar items incluso de manera automtica mediante algoritmos definidos con las nociones propias del dominio de contenido considerado y del formato que se desee utilizar, ajustados adems a las propiedades psicomtricas buscadas. En este sentido existen intentos muy aprovechables como los modelos generativos de items (Bejar, 1993) y la incorporacin tanto de principios tericos de la temtica estudiada (Prieto y Delgado, 1996; Embretson, 1998, 1999) como del formato de los items (Bartolom 1993; Haladyna, 1994; Martnez, 2000; Martnez, Moreno y Carmona, en dictamen). Esta es de todos modos una lnea de trabajo de mayor especializacin que la que aqu presentamos como factible para gran parte del profesorado universitario actual, pero que es til tener en perspectiva para un futuro no muy lejano. REFERENCIAS BARBERO, I. (1996). Bancos de items. En Psicometra, J. Muiz (coord.). Madrid: Universitas. BARTOLOM, A. (1993). Introduccin a las pruebas objetivas . Euroform: Material policopiado. BEJAR, I. I. (1993). A generative approach to psychological and educational measurement. En Test theory for a new generation of tests, N. Frederiksen, R. J. Mislevy e I. I. Bejar (eds.). Hillsdale, NJ: Lawrence Erlbaum. EMBRETSON, S. E. (1998). A cognitive design system approach to generating valid tests: application to abstract reasoning. Psychological Methods, 3 (3), 380-396. EMBRETSON, S. E. (1999). Generating items during testing: psychometric issues and models. Psychometrika, 64, 407-433. HALADYNA, T. M. (1994). Developing and validating multiple-choice test items . Hillsdale, NJ: Lawrence Erlbaum. LPEZ, J. y otros. (1995). Elaboracin de materiales para la docencia y evaluacin universitarias: Aplicacin de nociones psicolgicas y metodolgicas . Memoria de investigacin: ICE Universidad de Sevilla.

12

MARTNEZ, R. J. (2000). Diseo de items y niveles de interaccin psicolgica. Tesis Doctoral no publicada: Universidad de Sevilla. MARTNEZ, R. J., MORENO, R. Y CARMONA, J. (2001, septiembre). Aproximacin a la sistematizacin de los aspectos de formato de los items. Comunicacin presentada al VII Congreso de Metodologa de las Ciencias Sociales y de la Salud. Madrid. MARTNEZ, R. J., MORENO, R. Y CARMONA, J. (en dictamen). Generacin y correccin automticas de items de una tarea de discriminacin condicional de segundo orden. MORENO, R., MARTNEZ, R. J. Y CHACN, S. (2000). Fundamentos metodolgicos en psicologa y ciencias afines . Madrid: Pirmide. MUIZ, J. (1998). Teora clsica de los tests. Madrid: Pirmide. NAVAS, M. J. (1996). Equiparacin de puntuaciones. En Psicometra, J. Muiz (coord.). Madrid: Universitas. OSTERLIND, S. J. (1989). Constructing test items . Boston: Kluwer Academic Pub. PRIETO, G. Y DELGADO, A. R. (1996). Construccin de items. En Psicometra, J. Muiz (coord.). Madrid: Universitas. ROID, G. H. Y HALADYNA, T. M. (1982). Toward a technology of test-item writing . New York: Academic Press.

13

ANEXO I * Ejemplo de f ichero de control para puntuar las notas en la asignatura mediante el paquete SPSSWIN. * Punta como Acierto (1) o Error (0) segn la clave de respuestas correctas (i1 a i30). RECODE i1 (2=1) (SYSMIS=SYSMIS) (ELSE=0) INTO P1 . RECODE i2 (4=1) (SYSMIS=SYSMIS) (ELSE=0) INTO P2 . RECODE i3 (3=1) (SYSMIS=SYSMIS) (ELSE=0) INTO P3 . () RECODE i28 (4=1) (SYSMIS=SYSMIS) (ELSE=0) INTO P28 . RECODE i29 (1=1) (SYSMIS=SYSMIS) (ELSE=0) INTO P29 . RECODE i30 (1=1) (SYSMIS=SYSMIS) (ELSE=0) INTO P30 . * Cuenta nmero de Aciertos (A), errores (E) y en blanco (B), y crea variable de CONTROL * de fallos en el conteo. COUNT A = P1 TO P30 (1). COUNT E = P1 TO P30 (0). COUNT B = P1 TO P30 (MISSING). COMPUTE CONTROL = (A + E + B)/30. * Calcula la puntuacin corregida por azar para 6 alternativas (PC), y ajusta el resultado a * una escala de 0 a 10 (NUMERICA). COMPUTE PC = A -(E/5). COMPUTE NUMERICA = PC/3. RECODE NUMERICA (LOWEST THRU 0 = 0). * Asigna la NOTA cualitativa los alumnos en funcin de la NUMERICA obtenida. STRING NOTA (A13). DO IF (numerica < 5) . RECODE nota (ELSE='SUSPENSO') . END IF . DO IF ((numerica >= 5) & (numerica < 7)) . RECODE nota (ELSE='APROBADO') . END IF . DO IF ((numerica >= 7) & (numerica < 9)) . RECODE nota (ELSE='NOTABLE') . END IF . DO IF ((numerica >= 9) & (numerica < 10)) . RECODE nota (ELSE='SOBRESALIENTE') . END IF . DO IF (numerica = 10) . RECODE nota (ELSE='M. HONOR') . END IF .

14