Documenti di Didattica
Documenti di Professioni
Documenti di Cultura
Curso 2022/23
2
TUTORÍAS I PLANIFICACIÓN
Fecha Previsión
Presentación general de la materia
14/2/2023
T1. Introducción a la psicometría
21/2/2023 T2. Principios básicos para la construcción de instrumentos de medición psicológica
28/2/2023 T3. Técnicas para la construcción de escalas de actitudes
7/3/2023 T3. Técnicas para la construcción de escalas de actitudes
14/3/2023 T4. Fiabilidad de las puntuaciones I
21/3/2023 T4. Fiabilidad de las puntuaciones II
28/3/2023 T4. Fiabilidad de las puntuaciones III
11/4/2023 T6. Validez de las inferencias I
18/4/2023 T7. Validez de las inferencias II
25/4/2023 T7. Validez de las inferencias III
2/5/2023 T8. Análisis de los ítems
9/5/2023 T9. Asignación, transformación y equiparación de las puntuaciones
Tema 6. Parte II. Evaluación de las propiedades
métricas de los instrumentos de medición
psicológica
Mientras en fiabilidad comparábamos un test con otro, o con una mitad, o consigo mismo, aquí vamos a
comparar el test (X) con algo externo (criterio, Y).
Ahora sustituimos el coeficiente de correlación que en los temas anteriores llamábamos Coeficiente de fiabilidad
por el Coeficiente de validez.
Seguirá en valores entre -1 y +1, y cuanto más se aproxime a 1 mejor será la validez.
Ej. RRHH de una tienda. Paso un test a los candidatos para valorar su aptitud como comercial y lo comparo con
algo (por ej. su CV; sus referencias anteriores; sus futuras ventas; opinión de los clientes…)
Por tanto, un test será relevante si todos los ítems del test miden algún aspecto del dominio y no otra cosa; y
será representativo si los ítems seleccionados son una muestra representativa de dichos componentes, es
decir, del dominio.
4°. Para evaluar la relevancia de los ítems en relación con el dominio, se pueden utilizar varios procedimientos. Ej.
Hambleton: se presenta una ficha de cada ítem a los expertos y estos expresarán del 1 al 5 el grado de ajuste de cada ítem,
calculando a continuación la Mediana.
5°. La representatividad hace referencia al grado en el que se han cubierto las especificaciones del dominio, en cuanto a
contenido y objetivos.
Héctor Martínez I UNED La Rioja Tema 6. Validez de las inferencias (I)
3. VALIDACIÓN DEL CONTENIDO (p. 285) T6 I 11
Ejemplo libro. Supongamos que un grupo de 100 expertos han de juzgar la relevancia de 3 ítems para medir la calidad de la
enseñanza. En la tabla adjunta se incluye la valoración asignada a cada uno de los ítems por el grupo de expertos:
ESCALA
ÍTEMS
1 2 3 4 5
A 0 10 10 60 20
B 20 40 30 10 0
C 10 20 50 10 10
Calcular la relevancia de cada ítem sabiendo que la categoría 1 indica un mal ajuste entre el ítem y el constructo y la categoría
5 un muy buen ajuste.
0⁄ 234
1
Solución. Calcularemos la mediana de cada ítem aplicando la siguiente fórmula: 𝑀𝑒𝑑𝑖𝑎𝑛𝑎 = 𝐿+ + 𝐼 ·
35
Para ello, lo recomendable es crear la matriz de frecuencias acumuladas:
ESCALA
ÍTEMS
1 2 3 4 5
A 0 10 20 80 100
B 20 60 90 100 100
C 10 30 80 90 100
Ahora puedo calcular la mediana para cada ítem:
50 − 20 50 − 20 50 − 30
𝑀𝑒𝑑𝑖𝑎𝑛𝑎 í𝑡𝑒𝑚 𝐴 = 3,5 + = 𝟒; 𝑀𝑒𝑑𝑖𝑎𝑛𝑎 í𝑡𝑒𝑚 𝐵 = 1,5 + = 𝟐, 𝟐𝟓; 𝑀𝑒𝑑𝑖𝑎𝑛𝑎 í𝑡𝑒𝑚 𝐶 = 2,5 + = 𝟐, 𝟗𝟎
60 40 50
Héctor Martínez I UNED La Rioja Tema 6. Validez de las inferencias (I)
3. VALIDACIÓN DEL CONTENIDO T6 I 12
RESOLVER PROBLEMAS DE VALIDACIÓN DE CONTENIDO I MODELO DE HAMBLETON (p. 286)
1°. Calculo las frecuencias acumuladas
2°. Recurro a la fórmula de la mediana, puesto que su valor nos indicará el grado de relevancia del ítem:
𝑁K − 𝑓
𝑀𝑒𝑑𝑖𝑎𝑛𝑎 = 𝐿+ + 𝐼 · 2 N
𝑓O
3°. Interpreto el resultado siendo un 1 un muy mal ajuste y 5 un muy buen ajuste.
a. Estructura interna: estudio de las interrelaciones entre las puntuaciones obtenidas por los sujetos
en los distintos ítems que conforman el test. ¿Son equipo?
Se analiza
b. Estructura externa: las relaciones entre las puntuaciones obtenidas en el test y otras medidas del
mismo constructo obtenidas en variables externas al mismo y consideradas relevantes.
E.M.
RN .90 .31 .40 (.93)
FE .26 .87 .33 .37 (.94)
RA .43 .20 .84 .26 .37 (.88)
F.I.
RN .79 .27 .31 .77 .15 .23 (.89)
FE .11 .68 .22 .24 .67 .31 .19 (.93)
RA .19 .18 .50 .19 .33 .72 .41 .30 (.64)
Héctor Martínez I UNED La Rioja Tema 6. Validez de las inferencias (I)
4.1 MÉTODO MULTIMÉTODO-MULTIRRASGO (MMR) (Campbell y Fiske) (p. 288) T6 I 16
Ejemplo libro. Supongamos que se quieren medir 3 constructos: Razonamiento numérico (RN), Factor espacial
(FE) y Razonamiento abstracto (RA) y se han elaborado una serie de pruebas con distinto formato: Verdadero-
falso (V-F), Elección múltiple (E.M.) y Frases incompletas (F.l.) para medir cada uno de ellos.
Verdadero/Falso V/F Elección Múltiple (E.M.) Frases Incompletas (F.I.)
RN FE RA RN FE RA RN FE RA
V/F
RN (.95)
FE
RA
.20
.30
(.90)
.28 (.92) Fiabilidad (rxx’)
E.M.
RN .90 .31 .40 (.93)
FE .26 .87 .33 .37 (.94)
RA .43 .20 .84 .26 .37 (.88)
F.I.
RN .79 .27 .31 .77 .15 .23 (.89)
FE .11 .68 .22 .24 .67 .31 .19 (.93)
RA .19 .18 .50 .19 .33 .72 .41 .30 (.64)
Héctor Martínez I UNED La Rioja Tema 6. Validez de las inferencias (I)
4.1 MÉTODO MULTIMÉTODO-MULTIRRASGO (MMR) (Campbell y Fiske) (p. 288) T6 I 17
Ejemplo libro. Supongamos que se quieren medir 3 constructos: Razonamiento numérico (RN), Factor espacial
(FE) y Razonamiento abstracto (RA) y se han elaborado una serie de pruebas con distinto formato: Verdadero-
falso (V-F), Elección múltiple (E.M.) y Frases incompletas (F.l.) para medir cada uno de ellos.
Verdadero/Falso V/F Elección Múltiple (E.M.) Frases Incompletas (F.I.)
RN FE RA RN FE RA RN FE RA
V/F
RN (.95) Validez convergente
FE .20 (.90) (mismo concepto, distinto método)
RA .30 .28 (.92) Correlaciónes altas para el mismo
rasgo con diferentes métodos
E.M.
RN .90 .31 .40 (.93)
FE .26 .87 .33 .37 (.94)
RA .43 .20 .84 .26 .37 (.88)
F.I.
RN .79 .27 .31 .77 .15 .23 (.89)
FE .11 .68 .22 .24 .67 .31 .19 (.93)
RA .19 .18 .50 .19 .33 .72 .41 .30 (.64)
Héctor Martínez I UNED La Rioja Tema 6. Validez de las inferencias (I)
4.1 MÉTODO MULTIMÉTODO-MULTIRRASGO (MMR) (Campbell y Fiske) (p. 288) T6 I 18
Ejemplo libro. Supongamos que se quieren medir 3 constructos: Razonamiento numérico (RN), Factor espacial (FE)
y Razonamiento abstracto (RA) y se han elaborado una serie de pruebas con distinto formato: Verdadero-falso (V-
F), Elección múltiple (E.M.) y Frases incompletas (F.l.) para medir cada uno de ellos.
Verdadero/Falso V/F Elección Múltiple (E.M.) Frases Incompletas (F.I.)
RN FE RA RN FE RA RN FE RA
V/F
RN (.95) Validez discriminante
FE .20 (.90) (distinto concepto, mismo método)
RA .30 .28 (.92) Correlaciones bajas entre distintos
rasgos con el mismo método
E.M.
RN .90 .31 .40 (.93)
FE .26 .87 .33 .37 (.94)
RA .43 .20 .84 .26 .37 (.88)
F.I.
RN .79 .27 .31 .77 .15 .23 (.89)
FE .11 .68 .22 .24 .67 .31 .19 (.93)
RA .19 .18 .50 .19 .33 .72 .41 .30 (.64)
Héctor Martínez I UNED La Rioja Tema 6. Validez de las inferencias (I)
4.2 ANÁLISIS FACTORIAL (p. 290) T6 I 19
Objetivo. Es quizás la técnica más utilizada y actual, tanto en su
vertiente exploratoria (AFE, busca relaciones entre variables)
como confirmatoria (AFC, trata de confirmar esas relaciones),
para poner a prueba las hipótesis planteadas acerca de la
estructura interna del constructo y de las relaciones del mismo
con otras variables.
Ejemplo. Los 5 grandes rasgos de personalidad (NEO-PI-R):
sociabilidad, responsabilidad, apertura, amabilidad y
neuroticismo.
Cuando yo hago un test con muchos ítems sobre personalidad y
les hago un análisis factorial, matemáticamente se agrupan en
esos cinco factores (se reducen las variables). No es una
cuestión de juicio de expertos, sino de estadística.
UTV2UTW UTV2UT S
2. Biserial puntual: Siendo X la variable cuantitativa e Y la dicotómica. 𝑟NS = XY
· 𝑝·𝑞 = XY
· \
^N2_O
3. φ: Las 2 variables son dicotómicas. Varía entre -1 y 1. 𝜙 =
_`N ^`O _`^ N`O
Donde,
a es la ordenada en el origen o término constante (cuando X = 0). Se puede calcular: 𝑎 = 𝑌T − 𝑏 𝑋T
b es la pendiente de la recta de regresión. Se puede obtener en función del coeficiente de validez y de las desviaciones
Xy
típicas de las puntuaciones obtenidas por los sujetos en el test y en el criterio: 𝑏 = 𝑟Ux
XY
Con cada sujeto se comete un determinado error de estimación. A la varianza de todos los errores de estimación cometidos
con los sujetos de la muestra (N) se denomina Varianza residual, Varianza error o Error cuadrático medio (𝑺𝟐𝒀·𝑿 ) y su fórmula
es:
∑ x2xw 1
n
𝑆x·U = = 𝑆xn − 𝑆xn„ = 𝑆xn (1 − 𝑟m…
n
)
ƒ
Esta varianza error representa la variabilidad media de las puntuaciones de los sujetos en el criterio respecto a la puntuación
que se les pronostica mediante la recta de regresión. A la desviación típica de estos errores se denomina: Error típico de
estimación (𝑺𝒀·𝑿 ) y su fórmula es:
n n ∑ x2xw 1
𝑆x·U = 𝑆x·U = 𝑆x (1 − 𝑟m… )= en puntuaciones directas o diferenciales
ƒ
n en puntuaciones típicas
𝑆†x·†U = (1 − 𝑟m… )
Dicho de otra forma, podemos construir un intervalo de confianza para la puntuación en el criterio (Y) sumando y restando el
error máximo admisible (que es 𝑍^ por el error típico, en este caso, de estimación (𝑆x·U )):
∝
𝒀w ± 𝒁𝒄 · 𝑺𝒀·𝑿 (donde 𝑍^ es el valor de la N (0,1) que deja a su derecha)
n
Héctor Martínez I UNED La Rioja Tema 6. Validez de las inferencias (I)
6. VALIDACIÓN CON UN CRITERIO PREDICTOR Y UN SOLO INDICADOR DEL CRITERIO (p. 298) T6 I 30
Ej. Junio 2017. 2ª semana. 20. A una muestra de 500 sujetos se les ha aplicado un test de percepción compuesto por 10 ítems.
El coeficiente de fiabilidad del test fue 0,78 y su correlación con un criterio fue 0,70. La media y la varianza del test fueron
respectivamente de 6 y 4 puntos y las del criterio de 100 y 25 puntos. ¿Entre qué límites estará la puntuación directa de un
sujeto en el criterio si en el test obtuvo una puntuación de 7 puntos? (n.c. 99%): a) 80,25 y 110,72; b) 115,25 y 141,32; c) 92,5 y
110,96
S•
Y w = a + bX = rŽ• } +Y
X−X }
S•
–
Para obtener Zc , en este caso al 99%, vamos a la Tabla 1 (F80), que deja 1 − , es decir al 0,995. Por tanto, 2,58.
n
S• 5
Y w = a + bX = rŽ• } +Y
X−X } = 0,70 7 − 6 + 100 = 101,75
S• 2
n
Error típico de estimación en puntuaciones típicas 𝑆†m·†… = 1 − 𝑟m…
𝑆Ux
Cef. de validez (correlación) 𝒓𝑿𝒀 =
𝑆m · 𝑆x
10. Calculo el Coeficiente de Validez. En este caso, tanto el test como la medida del criterio son variables cuantitativas, por lo
tanto, para calcular el coeficiente de validez el índice más adecuado es la correlación producto-momento de Pearson.
Utilizando la calculadora el valor de r = 0,73. Si lo ejecuto tendría:
𝑁Σ𝑋𝑌 − Σ𝑋Σ𝑌 6 · 473 − 61 · 43 215
𝑟U… = = = = 𝟎, 𝟕𝟑
𝑁Σ𝑋 n − Σ𝑋 n [𝑁Σ𝑌 n − Σ𝑌 n ] 6 · 711 − 61 n [6 · 335 − 43 n ] 87745
El resultado está cercano a 1, lo que indica una buena capacidad predictiva.
Héctor Martínez I UNED La Rioja Tema 6. Validez de las inferencias (I)
6. VALIDACIÓN CON UN CRITERIO PREDICTOR Y UN SOLO INDICADOR DEL CRITERIO (p. 304) T6 I 37
20. Ecuaciones de Regresión. Una vez “validado” definiremos las ecuaciones de regresión (en puntuaciones directas,
diferenciales y típicas) que, posteriormente, nos servirán para predecir las puntuaciones que obtendrán en el criterio otros
sujetos, de las mismas características que los de la población sobre la que se construyeron, a partir de sus puntuaciones en el
test. Para ello, bastará sustituir el valor de X en la ecuación por las puntuaciones obtenidas por los sujetos.
Para calcular las ecuaciones de regresión requiero calcular antes medias, varianzas y desviaciones típicas de X e Y. Por eso:
∑ 𝑋 61 ∑ 𝑌 43
𝑋T = = = 10,17; 𝑌T = = = 7,17
𝑁 6 𝑁 6
∑𝑋 711
𝑺𝟐𝒙 = − 𝑋T n = − 10,17n = 15,07 → 𝑺𝒙 = 𝟑, 𝟖𝟖
𝑁 6
∑𝑌 n
335
𝑺𝟐𝒀 = − 𝑌T n = − 7,17n = 4,43 → 𝑺𝒀 = 𝟐, 𝟏𝟎
𝑁 6
i. Directas. 𝒀 = 𝒂 + 𝒃𝑿 → 𝒀 = 𝟑, 𝟏𝟓 + 0,395𝑿
Xy n,¤¥
Donde: 𝑏 = 𝑟Ux = 0,73 = 0,395
XY f,jj
𝑎 = 𝑌T − 𝑏 𝑋T = 7,17 − 0,395 · 10,17 = 3,15
ii. Diferenciales. 𝒚′ = 𝒃𝑿 → 𝒀 = 0,395𝑿
iii. Típicas. 𝒁′𝒀w = 𝒓𝑿𝒀 · 𝒁𝒙 → 𝒁′𝒀w = 𝟎, 𝟕𝟑 · 𝒁𝒙
A la desviación típica de los errores de estimación la llamamos error típico de estimación. Se calcula:
𝑺𝒀·𝑿 = 𝑺𝟐𝒀·𝑿 = 𝟐, 𝟏𝟐 = 1,46
Xy·š n
ii. Coeficiente de alienación: 𝐶. 𝐴. = 𝐾 = = 1 − 𝑟m… = 1 − 0,52 = 𝟎, 𝟔𝟗
Xy
Este porcentaje, 69%, implica un 69% de inseguridad en los pronósticos frente a un 31% de seguridad.
n
iii. Coeficiente de valor predictivo: 𝐶. 𝑉. 𝑃. = 1 − 1 − 𝑟m… = 1 − 1 − 0,52 = 𝟎, 𝟑𝟏