TRABAJO FINAL ASIGNATURA LABORATORIO DE PSICOMETRIA

ANÁLISIS DE LAS PROPIEDAS METRICAS EXIGIBLES A UN TEST PSICOTECNICO

PROGRAMA DE PSICOLOGIA UNAB 2019

DOCUMENTO GUIA Y RUBRICA DE EVALAUCIÓN

1 OBJETIVO

Aplicar los contenidos de la Teoría Clásica de los Test, realizando todos los pasos que requiere la construcción de un test.

Una vez concluido el análisis de datos, los alumnos deberán confeccionar un manual que detalle el procedimiento seguido
para la creación de su test y las condiciones para su uso.

2 PROCEDIMIENTO

2.1 COMPOSICIÓN DEL GRUPO DE PRÁCTICAS

Cada grupo de prácticas estará integrado por un mínimo de 3 personas y un máximo de 4, se requiere conocimientos
básicos de SPSS.

2.2 DEFINICIÓN DEL RASGO y/o ATRIBUTO A MEDIR Y GENERACIÓN DE ÍTEMS

Vamos a construir una batería de test para evaluar la aptitud comercial.

Cada grupo deberá elegir y definir dos rasgos Y/O atributos que deseen medir, de entre unas opciones suministradas por
el docente.

A continuación, se procederá a generar ítems adecuados al mismo. El TEST FINAL de cada grupo debe estar formado por
20 ítems, esto significa que deben construir al menos 30 y elegir de entre ellos los 20 mejores de acuerdo con sus
propiedades métricas (diez para cada variable).

2.2.1 RASGOS Y/O ATRIBUTOS QUE SE PROPONEN

1. Aceptación de cambio (R. personalidad) 2. Apertura de venta (ciclo de venta)

3. Búsqueda del cliente (ciclo de venta) 4. Cierre de venta (ciclo de venta)
5. Combatividad comercial (R. personalidad) 6. Confianza en sí mismo (R. personalidad)
7. Control emocional (R. personalidad) 8. Creación de opciones al cliente (ciclo de venta)
9. Empatía (R. personalidad) 10. Energía (R. personalidad)
11. Escucha activa (R. personalidad) 12. Habilidad de persuasión (R. personalidad)
13. Iniciativa (R. personalidad) 14. Interés en la posventa (ciclo de venta)
15. Motivación de logro (R. personalidad) 16. Motivar al cliente (ciclo de venta)
17. Negociación (R. personalidad) 18. Optimismo (R. personalidad)
19. Pensamiento estratégico (R. personalidad) 20. Persistencia (R. personalidad)
21. Presentación de producto (ciclo de venta) 22. Representante comercial de producto
(fortaleza para la venta)
23. Sociabilidad (R. personalidad) 24. Tolerancia a la frustración (R. personalidad)
25. Vendedor B2B (fortaleza para la venta) 26. Vendedor B2C (fortaleza para la venta)
27. Vendedor de telemarketing (fortaleza para la 28. Venta en tienda (fortaleza para la venta)
venta)
2.3 VARIABLES CRITERIO

Para ayudarnos a saber si el test mide lo que pretendemos vamos a introducir en el cuadernillo de aplicación una o más
variables criterio. En concreto, además de los ítems diseñados, la hoja de recogida de respuestas contendrá ciertos ítems
(no más de cinco), que podrán ser de los siguientes 3 tipos:

1) Ítems extraídos de tests que se sabe que miden un rasgo asociado al constructo que queremos medir con nuestro test.
Por ejemplo, si el test que estamos elaborando pretende medir sociabilidad, puesto que las personas sociables suelen ser
extrovertidas, en la hoja de recogida de respuestas podríamos incluir, como variables criterio, cinco ítems tomados de un
test de extroversión.

2) Ítems que muestren la conducta real (no la conducta verbal) que se sabe que está asociada al rasgo que pretendemos
medir. Por ejemplo, de acuerdo con el ejemplo anterior, podríamos incluir como variables criterio preguntas como las
siguientes: ¿tienes amigos? Muchos ( ) Algunos( ) Muy pocos ( ).

3) Preguntas descritas por expertos, se trata de indagar con personas expertas en ventas y mercadeo sugerencias de
preguntas que sirvan como criterio, comportamientos efectivos para realizar ventas.

La elección de las variables criterio es tanto más sencilla cuanta más y mejor información se tenga del rasgo que se
pretende medir con el test.

2.4 MATERIAL DE APLICACIÓN

La recogida de datos se facilita considerablemente si se utiliza una hoja de papel para las respuestas, un cuadernillo para
las preguntas, una plantilla para la calificación.

3 ESTUDIO PSICOMÉTRICO DEL TEST

El estudio de las cualidades psicométricas del test requiere dos fases: una de análisis de ítems y otra de estudio de las
propiedades del test definitivo.

3.1 Análisis de los ítems

Para cada ítem vamos a obtener diferentes datos:

− Media y varianza
− Índice de homogeneidad corregido (HC) o correlación ítem-test corregida (es decir, eliminando del test el ítem cuya
correlación se está hallando).
- Análisis de la discriminación del ítem.
-Índice de validez

A partir de estos resultados, debemos depurar el test inicial, eliminando los ítems que no resulten apropiados y cambiando
la codificación de alguno, si fuese necesario. La selección se hará atendiendo principalmente a los índices HC y
discriminación. Eliminaremos los ítems con valores de HC próximos a cero. También puede eliminarse algún ítem que
tenga una varianza muy pequeña.

A continuación, estudiaremos las garantías que ofrece el test definitivo. En concreto, considerando únicamente las
respuestas a los ítems que forman el test definitivo, vamos a obtener:

a) Su coeficiente de fiabilidad, por la técnica de dos mitades.

b) Su coeficiente α de Cronbach.
c) Un análisis de la estabilidad temporal del test
d) Las relaciones existentes entre las puntuaciones en el test y las variables criterio.
e) Un baremo en centiles y otra escala alternativa.
4 ELABORACIÓN DEL INFORME

Una vez realizados todos los análisis, los grupos redactarán un informe que se describa el instrumento. EL Cuadro de
valoración describe detenidamente cómo se va a evaluar cada apartado.

Su lectura informa de los aspectos y contenidos que deben tenerse en cuenta a la hora de la redacción del informe.

Las hojas del trabajo DEBEN ORGANIZARSE EN EL ORDEN que aparecen al final de este documento.

Cada grupo debe conservar una copia de su trabajo, ya que tras la corrección solamente se devolverá las hojas de
valoración con la evaluación y comentarios oportunos.

CUERPO DEL INFORME

1. Objetivos de la prueba y definición operacional

En este apartado debe especificarse los rasgos y/o atributos que se pretende medir, con una definición lo más operativa
posible del mismo y de sus componentes.

Se debe describir el procedimiento para operacionalizar la variable.

2. Redacción de ítems

Se deben especificar los ítems que miden cada componente y, en su caso, si lo hacen de modo directo o inverso. Aclarar
el formato de respuesta elegido y el modo de cuantificación de las respuestas.

3. Análisis de ítems

Para cada ítem hay que especificar su varianza, media, su índice de homogeneidad corregido y su discriminación. Hay que
explicar detalladamente el proceso seguido para determinar qué ítems han de eliminarse del test inicial.

4. Condiciones de aplicación y calificación

Definir los procedimientos estándar para aplicar el test y para la obtención de las puntuaciones directas.

5. Fiabilidad del test

Adjuntar, interpretar y evaluar el coeficiente de fiabilidad y el coeficiente alfa obtenidos. En este caso, del test final. Es
importante que se haga una interpretación precisa de estos índices.

6. Validez del test

En el cuadernillo de aplicación se han incluido varios ítems criterio que miden constructos, hay que:

a) Justificar las variables criterio elegidas, indicando las fuentes o referencias en las que se cita o prueba la relación
existente entre el rasgo que supuestamente mide el test y las conductas, o constructos a los que corresponden
los ítems criterio.
b) Explicitar claramente qué relaciones cabe esperar entre las puntuaciones en nuestro test, si mide lo que
suponemos, y las variables criterio. c) Realizar el análisis de datos que permita comprobar si se cumplen las
previsiones realizadas en el apartado anterior. A partir de los resultados obtenidos en este apartado de validez,
proponer qué mide el test.
7. Baremos

Incluir una tabla que muestre los baremos en centiles y otra escala derivada de transformaciones de z.

Explicar el uso de la tabla con ejemplos de interpretación de dos puntuaciones posibles en el test significativamente
distintas.

4 ORGANIZACIÓN DEL INFORME

4.1 FICHA TECNICA DEL TEST (Hoja 1)

Nombre del test:

Autores:
Significación:
Tipificación:
Duración:
Muestra de estandarización:

4.2 CUADRO DE VALORACIÓN (HojaS 2-3)

Representa el 30% de la asignatura y se califica en una escala de 0 a 2 los 12 aspectos para una puntuación final
máxima posible de 32. El resultado de la suma se transforma luego a la escala de 0 a 5 tradicional.

4.3 MATERIAL DE PRUEBA (Hoja 4)

4.4 CUERPO DEL INFORME (Hojas 5 en adelante)

PUNTOS A TENER EN CUENTA:

El trabajo se ajustará a las instrucciones proporcionadas en la guía de la práctica. Si el trabajo no sigue las especificaciones
dadas en este documento el 15% de la nota será valorado como cero.
 HOJAS DE VALORACIÓN
0 1
Ausencia de definición o de
contextualización teórica sobre el
B) DEFINICIÓN DEL RASGO
1 rasgo. No se hace esfuerzo por
Valoración:
establecer los componentes más
operativos del mismo.
En bastantes de los ítems se
cometen errores de redacción.
redacción o de adecuación entre la
C) REDACCIÓN DE ÍTEMS No parece que haya adecuación
2 redacción y el componente, aunque
Valoración: entre la redacción y el
se han elaborado ítems directos e
componente que se desea medir.
No se elaboran ítems inversos.
El grupo no ha diseñado los
itemes de acuerdo con una
D) FORMATO DE RESPUESTA
3 definición operacional clara, el
Valoración:
formato de calificación no es
práctico.
Ha habido errores importantes
en alguno de estos dos aspectos:
E) CUANTIFICA-CIÓN DE
4 incorrecta codificación de las
RESPUESTAS Valoración:
omisiones, no se han
recodificado los ítems inversos.
No se hace ninguna referencia a
F) DESCRIPCIÓN DE LA las características de la muestra
5 obtenido,..), aunque no se informa
MUESTRA Valoración: que se selecciona para el estudio
psicométrico.
No se han obtenido las medias y
varianzas de los ítems o no se
G) ANÁLISIS DE LOS ÍTEMS: informa en detalle del significado
medias y varianzas de estos valores para cada uno
6
Valoración: Correlación de los ítems. No se han obtenido
ítem-test Valoración: las correlaciones ítem-test de
forma correcta o no se informa
con detalle de su significado.
Definición descuidada, por no
consultar las referencias teóricas
apropiadas, aunque se hace un
esfuerzo por una definición propia.
Si la actitud o rasgo es difícil de
justificar teóricamente, se intenta
proporcionar una buena definición
operativa
Existen errores puntuales de
inversos.
Algunas de las categorías de
respuesta podrían haberse
redactado mejor
Errores puntuales en la codificación:
algún ítem mal cuantificado, errores
puntuales en la grabación de datos, omisiones y de las respuestas a
aunque se codifican bien los ítems
inversos y las omisiones.
Se menciona alguna característica
de la muestra (tamaño, cómo se ha
de su rendimiento global en el test
(datos estadísticos descriptivos).
Se han obtenido las medias y
varianzas, aunque no se interpreta
de forma adecuada los valores
individuales de cada uno de los
ítems. Las correlaciones ítem-test
están bien calculadas, aunque la
interpretación de su cuantía no es
correcta.
2
Correcto uso de la teoría
subyacente para la definición
del constructo, incluyendo
referencias sobre las obras
consultadas. Los componentes
o indicadores están bien
operativizados, y son los que
deben ser.
Se cumplen los estándares de
redacción de los ítems de
categorías ordenadas. Resulta
razonable la redacción para la
evaluación de los
componentes. Se redactan
ítems en las dos direcciones.
Las categorías están bien
establecidas y etiquetadas. Las
instrucciones para los
evaluados son claras.
Codificación correcta de las
los ítems inversos.
Se describen con detalle las
características disponibles de la
muestra (tamaño, nivel de
estudios, cómo se ha
conseguido), se informa de su
rendimiento global en el test y
de las consecuencias que estos
datos pueden tener en las
propiedades psicométricas de
la prueba.
Se interpreta con detalle, y de
forma adecuada al contenido
correspondiente, la diferente
cuantía de las medias y
varianzas que tiene la muestra
en cada uno de los ítems. Las
correlaciones ítem-test se
obtienen de forma correcta. La
interpretación de los valores
obtenidos es rigurosa,
indicando su repercusión en la
fiabilidad del test.

H) SELECCIÓN DE LOS ÍTEMS
7 suficiente, o no se comenta en
Valoración:
I) FIABILIDAD: consistencia
8 adecuada. Algunas de las
interna global Valoración:
VALIDEZ: Formulación de las
9 justificación no es específica del
variables criterio Valoración:
Variables criterio: Hipótesis y
10
contraste Valoración:
K) BAREMACIÓN:
11 Adecuación e interpretación
Valoración:
12 Orden Valoración:
0 1
La selección de ítems no es
adecuada, porque se eligen ítems
para el test definitivo que no son
los mejores.
Se obtienen de modo incorrecto
los coeficientes, no se
interpretan o se interpretan de
manera inadecuada.
No se han incluido o no se
justifica en absoluto su inclusión.
No se realizan hipótesis sobre
cómo se han de relacionar las
variables criterio con las
puntuaciones en el test
El baremo centil ha sido mal
obtenido.
No existe una buena
organización en el informe:
reiteraciones no pertinentes,
contenidos expresados en un
orden inadecuado.
2
Los ítems seleccionados son los
adecuados, se da cuenta de las
Los ítems seleccionados son los que razones métricas para eliminar
deben ser, aunque la los ítems rechazados y de las
argumentación sobre las razones repercusiones que esto puede
que llevan a tal selección no es tener en la fiabilidad y validez.
Se obtienen los indicadores
detalle los cambios que se producen psicométricos de los ítems que
en los indicadores de los ítems forman el test definitivo y se
cuando forman parte del test comentan adecuadamente sus
definitivo. diferencias respecto a los
valores que tenían en el test
inicial.
Los coeficientes se determinan
de forma correcta, se
interpretan de manera
adecuada y se comentan bien
las razones de las diferencias
Los coeficientes se determinan de
entre los valores. Se comenta
forma correcta, pero no se
correctamente la influencia en
comentan las diferencias entre
el coeficiente factores como el
ellos. No se interpretan de manera
tamaño y la varianza del test.
Se plantean procedimientos
propuestas planteadas requieren
adecuados de mejora, se
mayor concreción, dado que sólo se
argumentan y se comentan las
apuntan ciertas ideas sin
dificultades previsibles para
operativizarlas.
obtener dicha mejora. Se aplica
la fórmula de Spearman-Brown
para estudiar la fiabilidad del
test si se incrementara su
longitud.
Se incluyen la variable criterio, pero
Se justifica, recurriendo al
la justificación es pobre (la
conocimiento psicológico y
trabajos previos las variables
rasgo que el test supuestamente
criterio seleccionadas.
mide)
Se realizan hipótesis sobre la
relación entre las variables criterio y
las puntuaciones en el test, pero sin Se formulan hipótesis y
base psicológica sólida. Se hacen contrastan correctamente.
con base sólida, pero su contraste
no es correcto.
El baremo está bien obtenido y
El baremo está bien obtenido, se comentan algunas de sus
aunque no se comentan algunas de características: tipo de
sus características: tipo de distribución de las
distribución, significado concreto de puntuaciones de la muestra,
unos centiles significado concreto de unos
centiles
La organización es la adecuada,
no aparecen reiteraciones no
Existe una buena organización en
pertinentes, se confeccionan
general, aunque aparecen algunas
tablas o figuras a las que se
reiteraciones puntuales.
hacen referencia en el texto
escrito.