EVALUACIN DEL CUESTIONARIO

CEAM

RESUMEN DE LA VALORACIN DEL TEST

Descripcin general
Caractersticas Nombre del test Autor Autor de la adaptacin espaola Editor de la adaptacin espaola Fecha de la ltima revisin del test en su adaptacin espaola Constructo evaluado rea de aplicacin Soporte Descripcin
Cuestionario de estrategias de aprendizaje y motivacin (CEAM) Carlos L. Ayala Flores, Rosario Martnez Arias y Carlos Yuste Hernanz No procede Instituto de Orientacin Psicolgica EOS 2004 Estrategias de aprendizaje y motivacin Psicologa Educativa Lpiz y papel e informatizado

Valoracin general
Caractersticas Calidad de los Materiales y documentacin Fundamentacin terica Adaptacin Espaola Anlisis de los tems Validez de contenido Validez de constructo Anlisis del sesgo Validez predictiva Fiabilidad: equivalencia Fiabilidad: consistencia interna Fiabilidad: estabilidad Baremos Valoracin Buena Buena No procede Buena No se aporta Buena No se aporta Adecuado No se aporta Buena No se aporta Buena 4 4 2.5 4 4 Puntuacin 3.5 4

Comentarios generales
El cuestionario CEAM permite la evaluacin de las estrategias de aprendizaje y factores motivacionales en adolescentes y jvenes desde los 12 a los 18 aos. Tiene varios puntos fuertes, entre los que destacaramos los siguientes:

1. La prueba est bien diseada y es de muy fcil uso, tanto en su aplicacin, correccin e interpretacin. El CD que se suministra facilita considerablemente todas estas tareas.

2. Los estudios psicomtricos se han realizado sobre dos muestras, lo que ha permitido aplicar estrategias de validacin cruzada y obtener las propiedades psicomtricas del cuestionario en una muestra distinta de la utilizada en su construccin, evitando indicadores psicomtricos artificialmente altos debido a una posible capitalizacin en el azar.

3. Los resultados psicomtricos son adecuados. Los valores de la fiabilidad de las escalas, obtenida mediante indicadores de consistencia interna, son en general buenos.

4. El Manual informa de evidencias de validez sobre la estructura interna y la relacin entre las puntuaciones del cuestionario y otras variables. Dichas evidencias de validez proceden de estudios de validacin de constructo y de criterio. Los estudios de validacin de constructo consisten en anlisis factoriales exploratorios y en los anlisis de las correlaciones obtenidas entre los factores que componen las escalas de estrategias de aprendizaje y las de motivacin. Tambin dentro de los estudios de validacin de constructo cabra incluir las comparaciones entre grupos definidos por variables socio-demogrficas (gnero), titularidad de los centros educativos y ciclo educativo. Los estudios de validacin de criterio se centran principalmente en la aplicacin de un modelo de regresin lineal mltiple para la prediccin de los resultados acadmicos.

En cuanto a sus puntos dbiles, tambin se pueden sealar algunos.

1. Presentada la fundamentacin terica, el manual debera incluir ms informacin sobre las caractersticas tcnicas del cuestionario y, especialmente, sobre el proceso de construccin: diseo del cuestionario (especificaciones del cuestionario y de los tems), redaccin de los tems, etc. Bajo la denominacin "Justificacin Estadstica" se presenta una aproximacin inductiva al proceso de construccin concretada en el anlisis factorial exploratorio. Se trata de una aproximacin tradicional pero no exenta de

limitaciones (por ejemplo, hace depender la estructura del cuestionario de la muestra utilizada para analizarla). No hay tampoco informacin sobre si se parti de un conjunto inicial de tems del que se extrajeron los que se muestran en las matrices factoriales rotadas. De ah que, adems de presentar informacin sobre el proceso de desarrollo del cuestionario, futuras ediciones ofreceran la oportunidad de realizar estudios de validacin de contenido para obtener evidencias de validez para asentar la relevancia de las conductas indicadoras de estrategias de aprendizaje reflejadas en los tems del CEAM.

2. Convendra realizar ms estudios de validacin. Los resultados aportados por los propios autores del test ponen de manifiesto la dificultad de establecer una relacin clara entre los factores de la dimensin cognitiva y motivacional y los resultados acadmicos. Tal vez, la utilidad del CEAM pudiera evidenciarse mejor con criterios ms cercanos a la prctica educativa en el aula.

3. Convendra tambin completar el apartado de baremos, con muestras representativas y, al menos en la parte motivacional, debieran ofrecerse baremos separados para los alumnos de distintos ciclos.

4. En cuanto al constructo que el test evala y su fundamentacin terica, caben dos apreciaciones. En primer lugar, convendra precisar que el test mide "estrategias de aprendizaje de la informacin conceptual contenida en los textos", dado que la prueba no recoge estrategias necesarias para otros aprendizajes escolares (redaccin, solucin de problemas abiertos, etc). Las estrategias que se recogen son slo una parte de las estrategias que cabe utilizar para distintos aprendizajes. En segundo lugar, cabe hacer consideraciones separadas para cada parte de la prueba. Por un lado, en la parte relativa a las estrategias de aprendizaje, aunque los autores utilizan el concepto "estrategias de aprendizaje", la prueba evala realmente "estilos de aprendizaje"; esto es, el uso regular de conjuntos de estrategias especficas que suelen asociarse, pero no permite distinguir de modo sistemtico el grado en que los alumnos reconocen utilizar estrategias ms especficas. stas aparecen en algunos tems, pero la informacin no es suficientemente precisa como para ser til, dado que no informa de los contextos en que se aplican ni de la eficiencia con que se utilizan. Por otro lado, en la parte relativa a las variables motivacionales, la fundamentacin es adecuada, aunque debera actualizarse para integrar desarrollos posteriores a la publicacin del test. En resumen, el cuestionario CEAM es una herramienta til para la medida de las estrategias de aprendizaje y motivacin en la poblacin objetivo. La versin evaluada del cuestionario se realiz en 2004. Futuras ediciones pueden ofrecer la oportunidad para mejorar y completar la documentacin que el cuestionario aporta.

ANLISIS DETALLADO DE LA PRUEBA

1. DESCRIPCIN GENERAL DEL TEST
1.1. Nombre del test CEAM. Cuestionario de estrategias de aprendizaje y motivacin. 1.2. Nombre del test en su versin original No procede 1.3. Autor Carlos L. Ayala Flores, Rosario Martnez Arias y Carlos Yuste Hernanz 1.4. Autor de la adaptacin espaola No procede 1.5. Editor del test en su versin original Instituto de Orientacin Psicolgica EOS 1.6. Editor de la adaptacin espaola No procede 1.7. Fecha de publicacin del test original 2004 1.8. Fecha de la publicacin del test en su adaptacin espaola No procede 1.9. Fecha de la ltima revisin del test en su adaptacin espaola

1.10. rea general de la variable que pretende medir el test Habilidades y Rendimiento acadmico Motivacin Estrategias de aprendizaje

1.11. Breve descripcin de la variable que pretende medir el test El cuestionario evala las estrategias de aprendizaje, definidas segn los autores del test como " planes de accin que el aprendiz despliega de forma intencional y habitualmente consciente, y que comprenden la seleccin y uso de procedimientos, habilidades y tcnicas, los cuales se utilizan de forma relativamente flexible para atender, seleccionar, codificar, almacenar y/o recuperar la informacin y/o producir una respuesta (estrategias cognitivas), regular el propio funcionamiento cognitivo (estrategias metacognitivas) y/o propiciar un clima y una disposicin adecuadas (estrategias socio/afectivo/motivacionales)" (p. 2 del Manual).

La prueba se ha diseado para evaluar el uso que los estudiantes hacen de cuatro estrategias de aprendizaje, as como su nivel en seis variables motivacionales que afectan normalmente al trabajo acadmico y a los resultados. Las escalas mediante las que se evalan las cuatro estrategias son:

a) b)

Organizacin de la informacin. Implica el uso de resmenes, esquemas, etc. Establecimiento de relaciones. Implica el establecimiento de conexiones entre lo que

se sabe y los nuevos contenidos o entre diferentes reas de estudio. c) Regulacin metacognitiva/autoevaluacin. Implica reflexionar sobre los propios modos

de actuar as como la revisin de los resultados obtenidos. d) Aprendizaje superficial. Implica la memorizacin literal de la informacin sin diferenciar

lo esencial de lo accesorio.

Las escalas que evalan las seis variables motivacionales son las siguientes:

a)

Valoracin del aprendizaje y el estudio. Implica valorar positivamente el aprendizaje y el estudio, as como obtener buenas notas por ser importante para el futuro profesional.

b)

Motivacin intrnseca. Implica que al estudiante lo que le estimula es aprender y no obtener recompensas externas.

c)

Motivacin para el trabajo en grupo y para colaborar con los compaeros. Implica que el estudiante valora cooperar para aprender.

d)

Necesidad de reconocimiento. Refleja el deseo de conseguir buenas notas y ser reconocido por los dems.

e)

Autoeficacia. Implica confianza en las propias capacidades para afrontar con xito el trabajo acadmico.

f)

Atribucin interna del xito. Implica atribuir los buenos resultados al esfuerzo y a saber estudiar.

1.12. reas de aplicacin Psicologa educativa

1.13. Formato de los tems Tipo Likert

1.14. Nmero de tems El nmero total de tems es 100, 40 para la dimensin cognitiva y 60 para la dimensin motivacional. Cada una de las 10 escalas expuestas en el apartado 1.11 tiene 10 tems 1.15. Soporte Papel y lpiz Informatizado

1.16. Cualificacin requerida para el uso del test de acuerdo con la documentacin aportada Nivel A

En el manual no se da informacin sobre los requisitos para el uso del cuestionario. No obstante, en la web del editor s aparece como de Nivel A, indicando que es una prueba psicopedaggica y que su uso se limita a psiclogos, pedagogos y psicopedagogos. 1.17. Descripcin de las poblaciones a las que el test es aplicable Adolescentes y jvenes entre 12 y 18 aos (alumnos de ESO y Bachillerato). 1.18. Existencia o no de diferentes formas del test y sus caractersticas Existen dos versiones del test, una en papel y otra informatizada. Esta versin slo est preparada para ser instalada en entorno WINDOWS. Los requisitos mnimos de hardware y software son: Ordenador 486 o Pentium 16 megas de RAM Sistema operativo Windows 98 o posterior 8 megas libres en el disco duro Unidad de CD/ROM Ratn Impresora 1.19. Procedimiento de correccin Manual mediante plantilla Automatizada por ordenador

1.20. Procedimiento de obtencin de las puntuaciones directas Suma de la respuesta numrica elegida en cada tem de la escala. En las escalas motivacionales es necesario previamente invertir las puntuaciones de los tems que se indican en las normas de correccin.

Tanto los factores cognitivos (4) como los motivacionales (6) pueden tener una puntuacin mnima de 10 puntos y una mxima de 50 (cada uno de los 10 tems contiene 5 categoras de respuestas puntuadas de 1 a 5). Si en una escala o factor hay una o dos respuestas omitidas,

las respuestas a esos tems deben puntuarse con un 3. Si hay ms de dos respuestas omitidas, se recomienda no obtener la puntuacin en la escala.

Pueden obtenerse puntuaciones totales en cada uno de los 10 factores y dos puntuaciones globales, una en la dimensin cognitiva y otra en la dimensin motivacional.

1.21. Transformacin de las puntuaciones Caracterstica no aplicable para este instrumento

1.22. Escalas utilizadas Centiles

1.23. Posibilidad de obtener informes automatizados Si. El sistema informatizado en CD-ROM ofrece la posibilidad de introducir los datos de un grupo de estudiantes junto a la opcin de poder responder al cuestionario de manera individual. Si se elige la primera opcin, el programa realiza la correccin de las respuestas y permite la generacin de informes grupales y de perfiles individuales. La generacin de informes tambin est disponible para la opcin de administracin individual.

Los informes de grupo muestran las puntuaciones directas y los percentiles de cada estudiante, junto con los valores de la media aritmtica y la desviacin tpica. El informe incluye las puntuaciones directas y percentiles en cada uno de los factores de la dimensin cognitiva y de la dimensin motivacional.

1.24. Oferta por parte del editor de un servicio para la correccin y/o elaboracin informes No

NOTA: Como se ha indicado en 1.23, los programas del CD-ROM posibilitan dichas tareas.

1.25. Tiempo estimado para la aplicacin del test

En aplicacin individual:..................

Entre 30 y 40 minutos en total

En aplicacin colectiva:..........................Entre 30 y 40 minutos en total

1.26. Documentacin aportada por el editor

Manual Disketes/CD

1.27. Precio de un juego completo de la prueba 59 1.28. Precio y nmero de ejemplares del paquete de cuadernillos

1.29. Precio y nmero de ejemplares del paquete de hojas de respuesta 25 unidades: 15.50

1.30. Precio de la correccin y/o elaboracin de informes por parte del editor 200 usos CD: 25,43

1.31. Bibliografa bsica acerca del test aportada en la documentacin Los autores aportan una extensa lista de referencias en el captulo de fundamentacin terica. No se ofrece bibliografa especfica sobre el test CEAM.

2. VALORACIN DE LAS CARACTERSTICAS DEL TEST

Aspectos generales

Contenido 2.1. 2.2. 2.3. 2.4. 2.5. 2.6. 2.7. 2.8. 2.9. Calidad de los materiales del test Calidad de la documentacin aportada Fundamentacin terica Adaptacin del test Calidad de las instrucciones Facilidad para comprender la tarea Facilidad para registrar las respuestas Calidad de los tems (aspectos formales) Datos sobre el anlisis de los tems

Valoracin Buena Adecuada Buena No aplicable Adecuada Buena Adecuada Buena Buenos

Puntuacin 4 3 4 3 4 3 4 4

Validez de contenido

Contenido 2.10. 2.11. Calidad de la representacin del contenido o dominio Consultas a expertos

Valoracin

Puntuacin

No se aporta

Validez de constructo
Contenido Valoracin Puntuacin

2.12.

Diseos empleados

Diferencias entre grupos Anlisis factorial exploratorio Correlaciones entre las escalas de
estrategias y las de motivacin

2.13.

Tamao de las muestras

Validacin cruzada Varios estudios con muestras grandes

10

2.14. 2.15. 2.16. 2.17.

Procedimiento de seleccin de las muestras Mediana de las correlaciones del test con otros tests similares Calidad de los test empleados como criterio o marcador Datos sobre el sesgo de los tems

No se aporta No se aporta No se aporta No se aporta

Validez predictiva
Criterios empleados y las caractersticas de las poblaciones. Las calificaciones escolares en 11 materias del currculo.

Contenido 2.18. Diseo de seleccin del criterio

Contenido Retrospectivo Un estudio con una muestra grande y representativa (N200) No se aporta Suficiente (0.20r<0.35) 2

Puntuacin

2.19.

Tamao de las muestras

2.20. 2.21.

Procedimiento de seleccin de las muestras Correlaciones del test con los criterios

11

Comentarios generales sobre validez

Los autores presentan informacin de evidencias de validez sobre la estructura interna y la relacin entre las puntuaciones del cuestionario y otras variables. Dichas evidencias de validez proceden de estudios de validacin de constructo y de criterio. Los estudios de validacin de constructo consisten en anlisis factoriales exploratorios, junto a correlaciones entre las puntuaciones entre los factores que componen las escalas de estrategias de aprendizaje y las escalas de motivacin. Tambin dentro de los estudios de validacin de constructo cabra incluir las comparaciones entre grupos definidos por variables sociodemogrficas (gnero), titularidad de los centros educativos y ciclo educativo. Los estudios de validacin de criterio se centran principalmente en la aplicacin de un modelo de regresin lineal mltiple para la prediccin de los resultados acadmicos. Dentro de este apartado tambin se incluyen las correlaciones entre las puntuaciones en los factores de cada escala con los resultados acadmicos. Los estudios psicomtricos se realizan sobre dos muestras: una muestra de validacin y normativa, y otra de validacin cruzada. La primera aporta los datos para la evaluacin de la fiabilidad, validez de constructo y normas; mientras que la segunda es utilizada para replicar los resultados obtenidos con la primera y la realizacin de los anlisis de validacin de criterio. Todos los estudios de validacin han sido realizados siguiendo las prcticas habituales. La interpretacin de los resultados obtenidos y de las evidencias de validez es correcta y fcil de entender por los usuarios potenciales. Tambin hay que destacar la utilizacin de una muestra de validacin cruzada. No se aportan evidencias de validez sobre el contenido. Aun no siendo tan relevantes a primera vista como en el caso de los tests de rendimiento, las evidencias de validez sobre el contenido podran haber aportado informacin sobre el grado en el que el cuestionario incluye una muestra relevante de las conductas indicadoras de la dimensin cognitiva y motivacional. Adems, habran ayudado a reducir las posibles fuentes de variacin ajenas al constructo y a disminuir el riesgo de una baja representacin de los constructos que se quieren medir.

Los anlisis factoriales son utilizados para "descubrir" la estructura del cuestionario identificando los factores correspondientes a cada dimensin a travs de las cargas factoriales de los tems. Esta estrategia puede generar dificultades a los usuarios al comparar la estructura factorial con la propuesta en la justificacin terica para el constructo de "estrategias de aprendizaje".

12

Futuros estudios de validacin deberan aportar evidencias de validez orientadas a apoyar el uso previsto o uso habituales del cuestionario. La utilizacin de los resultados acadmicos como criterio para analizar la capacidad predictiva del cuestionario es una eleccin lgica, pero, como reconocen los propios autores, plantea numerosos interrogantes metodolgicos, adems de no ser posiblemente el criterio mejor conectado a las decisiones que puedan tomarse a partir de las evaluaciones obtenidas mediante el cuestionario.

Como valoracin global puede indicarse que los estudios de validacin que se presentan sugieren que la prueba es apropiada tanto en cuanto al grado en que evala los constructos medidos, como a su capacidad predictiva de las calificaciones acadmicas.

Fiabilidad
Contenido 2.22. Datos aportados sobre fiabilidad Valoracin

Puntuacin

Coeficientes de fiabilidad para diferentes grupos de sujetos

13

Equivalencia formas paralelas

Contenido 2.23. 2.24. Tamao de las muestras Coeficientes de equivalencia Valoracin No se aporta No se aporta Puntuacin

Consistencia interna
Contenido 2.25. 2.26. Tamao de las muestras Mediana de los coeficientes de consistencia Valoracin Varios estudios con muestras grandes Adecuada (0.70r<0.80) Puntuacin 5

Estabilidad (test-retest)
Contenido 2.27. 2.28. Tamao de las muestras Coeficientes de estabilidad Valoracin No se aporta No se aporta Puntuacin

Comentarios generales sobre fiabilidad

Los autores del test analizan la fiabilidad de las mediciones a partir de la consistencia interna. Las muestras son adecuadas tanto por su tamao como por su semejanza con la poblacin de inters. Proporcionan estimaciones del coeficiente alfa y sus intervalos de confianza para cada una de las 10 escalas y para la escala total de Estrategias de Aprendizaje. Los valores de las consistencias aportadas son buenos, aunque hay diferencias en funcin de las escalas. El rango va de 0.66 a 0.86, si bien la fiabilidad sube a 0.89 en el caso de la escala total (40 tems) que evala la adecuacin de las estrategias de estudio.

Baremacin

Contenido 2.29. 2.30. Calidad de las normas Tamao de las muestras

Valoracin Buena Muy grande (N1000)

Puntuacin 3 5

14

2.31.

Procedimiento de seleccin de las muestras

No se aporta

Comentarios generales sobre baremacin

Los autores calculan los baremos a partir de los datos de la muestra de validacin. Dicha muestra es la que aporta los datos para el anlisis de la estructura factorial, la fiabilidad y el anlisis de tems. El tamao de la muestra puede considerarse adecuada para dichos anlisis.

Se echan en falta detalles en el manual sobre la composicin de la muestra y el procedimiento seguido para la seleccin de los participantes, lo que plantea dudas sobre la idoneidad de los baremos aportados. Dado que se encontraron diferencias significativas entre ciclos educativos en los 6 factores motivacionales, sera conveniente que hubiera baremos diferentes para cada ciclo.

15