Sei sulla pagina 1di 39

PSICOMETRÍA

UNED. Centro Asociado La Rioja


Héctor Martínez García

Curso 2022/23
2
TUTORÍAS I PLANIFICACIÓN
Fecha Previsión
Presentación general de la materia
14/2/2023
T1. Introducción a la psicometría
21/2/2023 T2. Principios básicos para la construcción de instrumentos de medición psicológica
28/2/2023 T3. Técnicas para la construcción de escalas de actitudes
7/3/2023 T3. Técnicas para la construcción de escalas de actitudes
14/3/2023 T4. Fiabilidad de las puntuaciones I
21/3/2023 T4. Fiabilidad de las puntuaciones II
28/3/2023 T4. Fiabilidad de las puntuaciones III
11/4/2023 T6. Validez de las inferencias I
18/4/2023 T7. Validez de las inferencias II
25/4/2023 T7. Validez de las inferencias III
2/5/2023 T8. Análisis de los ítems
9/5/2023 T9. Asignación, transformación y equiparación de las puntuaciones
Tema 6. Parte II. Evaluación de las propiedades
métricas de los instrumentos de medición
psicológica

Validez de las inferencias (I)

PSICOMETRÍA I UNED La Rioja


Héctor Martínez García
Curso 2022/23
CONTEXTUALIZAMOS EL TEMA (p. 275) T6 I 5
¿Qué persigue la psicometría? Medir variables psicológicas a través de conductas (indicadores)

¿Cómo? Mediante instrumentos de medida (tests)


- ¿Para qué?, ¿cómo?, ¿para quién?
Diseño y construyo el test - Prueba piloto
- Escalamiento

- Preciso (pocos errores y “controlados”)


i. Fiabilidad
- Estable (no hay diferencia entre aplicaciones)
Evalúo su calidad
- Mide lo que tiene que medir
ii. Validez
- Inferencias válidas sobre la punt. verdadera

Héctor Martínez I UNED La Rioja Tema 6. Validez de las inferencias (I)


1. ALGUNOS CONCEPTOS PREVIOS (p. 276) T6 I 6

Mientras en fiabilidad comparábamos un test con otro, o con una mitad, o consigo mismo, aquí vamos a
comparar el test (X) con algo externo (criterio, Y).

PUNTUACIÓN DEL TEST (X) PUNTUACIÓN DEL CRITERIO (Y)


Puntuación empírica de la prueba que hacemos Una prueba/indicador externo con el que voy a
relacionar el test

Ahora sustituimos el coeficiente de correlación que en los temas anteriores llamábamos Coeficiente de fiabilidad
por el Coeficiente de validez.

Seguirá en valores entre -1 y +1, y cuanto más se aproxime a 1 mejor será la validez.

Ej. RRHH de una tienda. Paso un test a los candidatos para valorar su aptitud como comercial y lo comparo con
algo (por ej. su CV; sus referencias anteriores; sus futuras ventas; opinión de los clientes…)

Héctor Martínez I UNED La Rioja Tema 6. Validez de las inferencias (I)


2. TIPOS DE VALIDEZ (p. 281) T6 I 7
Obj. No buscamos predecir la puntuación en un criterio, sino asegurarnos de que los
ítems son muestra relevante y representativa del constructo medido (T3)
a. De contenido - Test de conocimientos: Que todos los contenidos a evaluar queden representados
en el test (rendimiento de sujetos)

Obj. Garantizar que las conductas observables seleccionadas son indicadoras de


b. De constructo
ese, y solo ese, constructo
Tipos de
validez ≡ Grado correlación en un test (X) con un criterio externo (Y) (Ej. Nº ventas de vendedores)
- Predictiva: Primero test (X) y luego criterio (Y) → A posteriori (selección)
Ej. Hacemos test EBAU y vemos como les va en su primer año en la Universidad
c. De criterio
- Concurrente: Test y criterio a la vez → Simultánea (diagnóstico)
Tipos
Ej. Hacemos EBAU y a la vez preguntamos a sus profes de bachillerato
- Retrospectiva: Primero criterio y luego test → A priori
Ej. Preguntamos a profes de bachillerato y esperamos a ver como hacen la EBAU
Héctor Martínez I UNED La Rioja Tema 6. Validez de las inferencias (I)
3. VALIDACIÓN DEL CONTENIDO (p. 282) T6 I 8
Objetivo. Analizar hasta qué punto los ítems que componen el texto son una muestra relevante y
representativa del constructo sobre el que se van a realizar las inferencias y extraer conclusiones.
¿Cómo lo hacemos?
i. Relevancia. Debemos incluir de forma exhaustiva y clara todas las posibles conductas observables
representativas del constructo que estamos midiendo (especificación del dominio de conductas) [si
hablamos de Psicometría debemos incluir aspectos de medición, fiabilidad, validez, análisis de ítems,
interpretación de puntuaciones, etc.)
ii. Representatividad. Todas esas conductas deben aparecer en el test, para ello seleccionaremos una
muestra representativa de ítems que nos permitan medirlas todas (representatividad del dominio)
[ahora elegiremos un grupo de ítems que representen a cada uno de esos componentes: unos ítems para
la medición, otros para la fiabilidad… El nº de ítems concreto para cada aspecto dependerá de los
representativo que lo consideremos].

Por tanto, un test será relevante si todos los ítems del test miden algún aspecto del dominio y no otra cosa; y
será representativo si los ítems seleccionados son una muestra representativa de dichos componentes, es
decir, del dominio.

Héctor Martínez I UNED La Rioja Tema 6. Validez de las inferencias (I)


3. VALIDACIÓN DEL CONTENIDO (p. 282) T6 I 9
¿Quién realiza la validación de contenido? Un grupo de expertos
i. Que el test no incluya aspectos irrelevantes del dominio de interés.
Funciones del grupo de expertos
ii. Que incluya todos los elementos importantes que definen el dominio.

Héctor Martínez I UNED La Rioja Tema 6. Validez de las inferencias (I)


3. VALIDACIÓN DEL CONTENIDO (p. 282) T6 I 10
RESOLVER PROBLEMAS DE ESPECIFICACIÓN DEL DOMINIO
1°. Analizamos las áreas de contenido.
2°. Analizamos los procesos que se van a evaluar y la importancia relativa de cada uno de ellos.
3°. Realizar tablas de doble entrada:

4°. Para evaluar la relevancia de los ítems en relación con el dominio, se pueden utilizar varios procedimientos. Ej.
Hambleton: se presenta una ficha de cada ítem a los expertos y estos expresarán del 1 al 5 el grado de ajuste de cada ítem,
calculando a continuación la Mediana.
5°. La representatividad hace referencia al grado en el que se han cubierto las especificaciones del dominio, en cuanto a
contenido y objetivos.
Héctor Martínez I UNED La Rioja Tema 6. Validez de las inferencias (I)
3. VALIDACIÓN DEL CONTENIDO (p. 285) T6 I 11
Ejemplo libro. Supongamos que un grupo de 100 expertos han de juzgar la relevancia de 3 ítems para medir la calidad de la
enseñanza. En la tabla adjunta se incluye la valoración asignada a cada uno de los ítems por el grupo de expertos:
ESCALA
ÍTEMS
1 2 3 4 5
A 0 10 10 60 20
B 20 40 30 10 0
C 10 20 50 10 10
Calcular la relevancia de cada ítem sabiendo que la categoría 1 indica un mal ajuste entre el ítem y el constructo y la categoría
5 un muy buen ajuste.
0⁄ 234
1
Solución. Calcularemos la mediana de cada ítem aplicando la siguiente fórmula: 𝑀𝑒𝑑𝑖𝑎𝑛𝑎 = 𝐿+ + 𝐼 ·
35
Para ello, lo recomendable es crear la matriz de frecuencias acumuladas:
ESCALA
ÍTEMS
1 2 3 4 5
A 0 10 20 80 100
B 20 60 90 100 100
C 10 30 80 90 100
Ahora puedo calcular la mediana para cada ítem:
50 − 20 50 − 20 50 − 30
𝑀𝑒𝑑𝑖𝑎𝑛𝑎 í𝑡𝑒𝑚 𝐴 = 3,5 + = 𝟒; 𝑀𝑒𝑑𝑖𝑎𝑛𝑎 í𝑡𝑒𝑚 𝐵 = 1,5 + = 𝟐, 𝟐𝟓; 𝑀𝑒𝑑𝑖𝑎𝑛𝑎 í𝑡𝑒𝑚 𝐶 = 2,5 + = 𝟐, 𝟗𝟎
60 40 50
Héctor Martínez I UNED La Rioja Tema 6. Validez de las inferencias (I)
3. VALIDACIÓN DEL CONTENIDO T6 I 12
RESOLVER PROBLEMAS DE VALIDACIÓN DE CONTENIDO I MODELO DE HAMBLETON (p. 286)
1°. Calculo las frecuencias acumuladas
2°. Recurro a la fórmula de la mediana, puesto que su valor nos indicará el grado de relevancia del ítem:
𝑁K − 𝑓
𝑀𝑒𝑑𝑖𝑎𝑛𝑎 = 𝐿+ + 𝐼 · 2 N
𝑓O

3°. Interpreto el resultado siendo un 1 un muy mal ajuste y 5 un muy buen ajuste.

Héctor Martínez I UNED La Rioja Tema 6. Validez de las inferencias (I)


4. VALIDACIÓN DE CONSTRUCTO (p. 286) T6 I 13
Objetivo. Garantizar que las conductas observables elegidas son indicadores de ese, y solo ese, constructo. La
validación de constructo permitirá obtener evidencia acerca de la capacidad del test para medirlo.
1. Definir el constructo de interés y postular hipótesis que relacionen el constructo con determinadas
conductas observables y con otros constructos.
Pasos 2. Diseñar el instrumento de medida adecuado, seleccionando ítems relevantes y representativos del
constructo.
3. Obtener datos empíricos de las relaciones entre las puntuaciones obtenidas en el test y las variables
hipotetizadas (conductas observables).
Si confirman hipótesis validamos el constructo y el test

a. Estructura interna: estudio de las interrelaciones entre las puntuaciones obtenidas por los sujetos
en los distintos ítems que conforman el test. ¿Son equipo?
Se analiza
b. Estructura externa: las relaciones entre las puntuaciones obtenidas en el test y otras medidas del
mismo constructo obtenidas en variables externas al mismo y consideradas relevantes.

Dos métodos: 1) el método de la matriz multimétodo-multirrasgo y 2) el análisis factorial.


Héctor Martínez I UNED La Rioja Tema 6. Validez de las inferencias (I)
4.1 MÉTODO MULTIMÉTODO-MULTIRRASGO (MMR) (Campbell y Fiske) (p. 288) T6 I 14
Objetivo. Permite el análisis de la estructura externa del test
Procedimiento. Se intenta medir un mismo constructo mediante distintos procedimientos y diferentes
constructos mediante el mismo procedimiento y, una vez obtenidas todas las medidas, calcular las
correlaciones entre ellas.
… altas dentro del mismo constructo y diferentes Nuestro
procedimientos, quedará validado el constructo y se test
considera que existe validez convergente [Ej. Estoy midiendo sobre
depresión y comparo el mío con otro diferente (Beck)]. depresión

Si las correlaciones son…

… significativamente más altas que las Nuestro


obtenidas al correlacionar distintos test
sobre Test de Test de
constructos con el mismo procedimiento ansiedad
depresión estrés
diremos que existe validez discriminante

Héctor Martínez I UNED La Rioja Tema 6. Validez de las inferencias (I)


4.1 MÉTODO MULTIMÉTODO-MULTIRRASGO (MMR) (Campbell y Fiske) (p. 288) T6 I 15
Ejemplo libro. Supongamos que se quieren medir 3 constructos: Razonamiento numérico (RN), Factor espacial
(FE) y Razonamiento abstracto (RA) y se han elaborado una serie de pruebas con distinto formato: Verdadero-
falso (V-F), Elección múltiple (E.M.) y Frases incompletas (F.l.) para medir cada uno de ellos.
Verdadero/Falso V/F Elección Múltiple (E.M.) Frases Incompletas (F.I.)
RN FE RA RN FE RA RN FE RA
V/F
RN (.95)
FE .20 (.90)
RA .30 .28 (.92)

E.M.
RN .90 .31 .40 (.93)
FE .26 .87 .33 .37 (.94)
RA .43 .20 .84 .26 .37 (.88)

F.I.
RN .79 .27 .31 .77 .15 .23 (.89)
FE .11 .68 .22 .24 .67 .31 .19 (.93)
RA .19 .18 .50 .19 .33 .72 .41 .30 (.64)
Héctor Martínez I UNED La Rioja Tema 6. Validez de las inferencias (I)
4.1 MÉTODO MULTIMÉTODO-MULTIRRASGO (MMR) (Campbell y Fiske) (p. 288) T6 I 16
Ejemplo libro. Supongamos que se quieren medir 3 constructos: Razonamiento numérico (RN), Factor espacial
(FE) y Razonamiento abstracto (RA) y se han elaborado una serie de pruebas con distinto formato: Verdadero-
falso (V-F), Elección múltiple (E.M.) y Frases incompletas (F.l.) para medir cada uno de ellos.
Verdadero/Falso V/F Elección Múltiple (E.M.) Frases Incompletas (F.I.)
RN FE RA RN FE RA RN FE RA
V/F
RN (.95)
FE
RA
.20
.30
(.90)
.28 (.92) Fiabilidad (rxx’)
E.M.
RN .90 .31 .40 (.93)
FE .26 .87 .33 .37 (.94)
RA .43 .20 .84 .26 .37 (.88)

F.I.
RN .79 .27 .31 .77 .15 .23 (.89)
FE .11 .68 .22 .24 .67 .31 .19 (.93)
RA .19 .18 .50 .19 .33 .72 .41 .30 (.64)
Héctor Martínez I UNED La Rioja Tema 6. Validez de las inferencias (I)
4.1 MÉTODO MULTIMÉTODO-MULTIRRASGO (MMR) (Campbell y Fiske) (p. 288) T6 I 17
Ejemplo libro. Supongamos que se quieren medir 3 constructos: Razonamiento numérico (RN), Factor espacial
(FE) y Razonamiento abstracto (RA) y se han elaborado una serie de pruebas con distinto formato: Verdadero-
falso (V-F), Elección múltiple (E.M.) y Frases incompletas (F.l.) para medir cada uno de ellos.
Verdadero/Falso V/F Elección Múltiple (E.M.) Frases Incompletas (F.I.)
RN FE RA RN FE RA RN FE RA
V/F
RN (.95) Validez convergente
FE .20 (.90) (mismo concepto, distinto método)
RA .30 .28 (.92) Correlaciónes altas para el mismo
rasgo con diferentes métodos
E.M.
RN .90 .31 .40 (.93)
FE .26 .87 .33 .37 (.94)
RA .43 .20 .84 .26 .37 (.88)

F.I.
RN .79 .27 .31 .77 .15 .23 (.89)
FE .11 .68 .22 .24 .67 .31 .19 (.93)
RA .19 .18 .50 .19 .33 .72 .41 .30 (.64)
Héctor Martínez I UNED La Rioja Tema 6. Validez de las inferencias (I)
4.1 MÉTODO MULTIMÉTODO-MULTIRRASGO (MMR) (Campbell y Fiske) (p. 288) T6 I 18
Ejemplo libro. Supongamos que se quieren medir 3 constructos: Razonamiento numérico (RN), Factor espacial (FE)
y Razonamiento abstracto (RA) y se han elaborado una serie de pruebas con distinto formato: Verdadero-falso (V-
F), Elección múltiple (E.M.) y Frases incompletas (F.l.) para medir cada uno de ellos.
Verdadero/Falso V/F Elección Múltiple (E.M.) Frases Incompletas (F.I.)
RN FE RA RN FE RA RN FE RA
V/F
RN (.95) Validez discriminante
FE .20 (.90) (distinto concepto, mismo método)
RA .30 .28 (.92) Correlaciones bajas entre distintos
rasgos con el mismo método
E.M.
RN .90 .31 .40 (.93)
FE .26 .87 .33 .37 (.94)
RA .43 .20 .84 .26 .37 (.88)

F.I.
RN .79 .27 .31 .77 .15 .23 (.89)
FE .11 .68 .22 .24 .67 .31 .19 (.93)
RA .19 .18 .50 .19 .33 .72 .41 .30 (.64)
Héctor Martínez I UNED La Rioja Tema 6. Validez de las inferencias (I)
4.2 ANÁLISIS FACTORIAL (p. 290) T6 I 19
Objetivo. Es quizás la técnica más utilizada y actual, tanto en su
vertiente exploratoria (AFE, busca relaciones entre variables)
como confirmatoria (AFC, trata de confirmar esas relaciones),
para poner a prueba las hipótesis planteadas acerca de la
estructura interna del constructo y de las relaciones del mismo
con otras variables.
Ejemplo. Los 5 grandes rasgos de personalidad (NEO-PI-R):
sociabilidad, responsabilidad, apertura, amabilidad y
neuroticismo.
Cuando yo hago un test con muchos ítems sobre personalidad y
les hago un análisis factorial, matemáticamente se agrupan en
esos cinco factores (se reducen las variables). No es una
cuestión de juicio de expertos, sino de estadística.

Héctor Martínez I UNED La Rioja Tema 6. Validez de las inferencias (I)


5. VALIDEZ REFERIDA AL CRITERIO (p. 291) T6 I 20
Objetivo. Estudiar la efectividad con la que se puede pronosticar la eficiencia en un criterio (Y) a partir de la
puntuación en un test (X, normalmente mediante el modelo de regresión). Se utilizan o bien para la selección
/clasificación o bien para el diagnóstico.
𝑋→𝑌

1. Definir claramente el criterio que se quiere medir [Ej. Nota selectividad].


2. Identificar el indicador/es a utilizar para obtener la medida del criterio [Ej. Nota en 1º de carrera].
3. Seleccionar una muestra representativa de la población para luego implementar el test.
4. Aplicar el test a la muestra de sujetos y obtener una puntuación para cada uno de ellos.
Pasos
5. Obtener una medida de cada sujeto en el criterio bien en el mismo momento de la aplicación del test
(validación concurrente) o bien al cabo de un cierto tiempo (validación predictiva).
6. Determinar el grado de relación (correlación) entre las puntuaciones obtenidas en el test y la medida
del criterio. Si es alta el test quedará validado, preparado para aplicar y para poder inferir la puntuación
en el criterio.

Héctor Martínez I UNED La Rioja Tema 6. Validez de las inferencias (I)


5. VALIDEZ REFERIDA AL CRITERIO (p. 291) T6 I 21
¿Cómo seleccionar los indicadores que seleccionen lo que buscamos?
1. Que sean relevantes (prueba de jueces)
Requisitos
(Thorndike 2. Libres de sesgos (por ejemplo, que no estén sujetos a subjetividad)
Y Hagen, 1989) 3. Que sean fiables (estables en el tiempo)
4. Que sean accesibles (en tiempo, coste…)

Procedimientos estadísticos para la validación referida a criterio:


1. Un único test predictor y un solo indicador del criterio [Ej. Nota EBAU; nota media de 1ª de carrera]:
Regresión lineal simple (resto del T6)
2. Varios test predictores y un solo indicador del criterio [Ej. Varias asignaturas; media en 1º de carrera]:
Regresión lineal múltiple (T7)
3. Varios predictores cuantitativos y varios indicadores del criterio cuantitativos (no lo estudiaremos)
4. Procedimientos basados en la teoría de la decisión: Validez y utilidad de decisiones (T7)

Héctor Martínez I UNED La Rioja Tema 6. Validez de las inferencias (I)


6. VALIDACIÓN CON UN CRITERIO PREDICTOR Y UN SOLO INDICADOR DEL CRITERIO (p. 295) T6 I 22
La correlación y la regresión lineal simple son las técnicas más utilizadas para obtener evidencia acerca del grado
en que las puntuaciones obtenidas por los sujetos en el test pueden ser utilizadas para predecir las que
obtendrían en el criterio.
1. La correlación, porque nos permitirá conocer el grado de asociación, de relación, entre el test (X) y el
criterio (Y). Entre -1 y +1. Tomaremos a los coef. de correlación como coef. de validez.
2. El modelo de regresión, porque nos permitirá pronosticar, a partir de las puntuaciones obtenidas en el
predictor, las puntuaciones (directas, diferenciales o típicas) en el criterio.
1. MODELO DE CORRELACIÓN
Definición. Llamamos coeficiente de validez (rxy) a la correlación entre las puntuaciones obtenidas por los sujetos
en el test predictor y las obtenidas en el criterio.
El tipo de correlación utilizada para el cálculo del coef. de validez dependerá de la naturaleza de las variables:

Héctor Martínez I UNED La Rioja Tema 6. Validez de las inferencias (I)


6. VALIDACIÓN CON UN CRITERIO PREDICTOR Y UN SOLO INDICADOR DEL CRITERIO (p. 295) T6 I 23
1. MODELO DE CORRELACIÓN

1. Correlación de Pearson: lo veremos en el punto 6.2

UTV2UTW UTV2UT S
2. Biserial puntual: Siendo X la variable cuantitativa e Y la dicotómica. 𝑟NS = XY
· 𝑝·𝑞 = XY
· \

^N2_O
3. φ: Las 2 variables son dicotómicas. Varía entre -1 y 1. 𝜙 =
_`N ^`O _`^ N`O

Héctor Martínez I UNED La Rioja Tema 6. Validez de las inferencias (I)


6. VALIDACIÓN CON UN CRITERIO PREDICTOR Y UN SOLO INDICADOR DEL CRITERIO (p. 295) T6 I 24
1. MODELO DE CORRELACIÓN
Ejemplo de Coeficiente biserial puntual (contínua / dicotomizada). Tras una prueba hemos obtenido los
siguientes datos en test (X) y criterio (Y) de cada participante:
X Y i. ¿Qué tipo de coeficiente de validez debemos usar? Solución. Coeficiente biserial puntual
3 No apto (puesto que tenemos una variable X continua y un criterio Y dicotómico).
4 Apto ii. Calcula su valor.
4 No apto Solución. Media de los aprobados → 𝑋TS = (4 + 5 + 6 + 8)/4 = 5,75;
5 No apto f`g`g`h`h`i`j
Media total del test → 𝑋T = = 5;
5 Apto k
6 Apto n ∑ 𝑋n 3n + 4n + 4n + 5n + 5n + 6n + 8n
𝑆m = − 𝑋T n = − 5n = 27,29 − 25 = 2,29
8 Apto 𝑛 7
UTV2UT S h,kh2h g/k
𝑟NS = XY
· \
= n,nq
· f/k
= 𝟎, 𝟓𝟕 (correlación media)
* Recuerda que, por ejemplo, el primer sujeto ha sacado un 3 y, por otro lado, ha obtenido un “no apto” para el
criterio. El segundo ha obtenido un 4 en el test y, en cambio sí es “apto” en el criterio. No es que un 4 equivalga a un
aprobado o suspenso del criterio. En nuestro ejemplo anterior, la segunda persona sacó un 4 en la EBAU, pero en
cambio le fue bien en 1º de carrera.
Héctor Martínez I UNED La Rioja Tema 6. Validez de las inferencias (I)
6. VALIDACIÓN CON UN CRITERIO PREDICTOR Y UN SOLO INDICADOR DEL CRITERIO (p. 295) T6 I 25
1. MODELO DE CORRELACIÓN
Ejemplo de Coeficiente φ (solo para haceros idea. El libro no plantea ejercicios sobre este punto). Tanto el criterio como el test
son dicotómicos.

Criterio (Y) #$ − &'


!=
A N ((& + $)(# + ')(& + #)($ + ')
23 · 20 − 4 · 3 448
A 20 (b) 4 (a) = = = 5, 67
TEST (X) ((4 + 20)(23 + 3)(4 + 23)(20 + 3) (387,50
N 3 (d) 23 (c) 0,72 es un valor medio-alto y, por lo tanto, la correlación entre test
*ojo a las posiciones y criterio es bastante decente (ver que la clasificación no es muy
objetiva). Es decir, es bastante normal que quienes aprueban el
test les vaya bien en el criterio y viceversa.

Héctor Martínez I UNED La Rioja Tema 6. Validez de las inferencias (I)


6. VALIDACIÓN CON UN CRITERIO PREDICTOR Y UN SOLO INDICADOR DEL CRITERIO (p. 298) T6 I 26
2. MODELO DE REGRESIÓN LINEAL (se utiliza para predecir, pronosticar)
Situación: tanto el test como el criterio son variables continuas. Utilizaremos el Coef. de correlación de Pearson.

Héctor Martínez I UNED La Rioja Tema 6. Validez de las inferencias (I)


6. VALIDACIÓN CON UN CRITERIO PREDICTOR Y UN SOLO INDICADOR DEL CRITERIO (p. 298, F34) T6 I 27
2. MODELO DE REGRESIÓN LINEAL
2.a Ecuaciones de regresión (𝒀 = 𝒂 + 𝒃𝑿) (F34)
Sirven para pronosticar como se comportará la variable criterio “Y” a partir de la variable predictora “X”.
Los tres tipos de puntuaciones pronosticadas (Y’, y’ o Z’y’) se calculan (F34):
X X 𝑺
i. Directas. 𝒀w = 𝒂 + 𝒃𝑿 = 𝑌T − 𝑟Ux y 𝑋T + 𝑟Ux y 𝑋 = 𝒓𝑿𝒀 𝒀 𝑿 − 𝑿
} +𝒀
}
XY XY 𝑺𝒙
𝑺𝒀
ii. Diferenciales. 𝒚w = 𝒃𝑿 = 𝒓𝑿𝒀 } = 𝒓𝑿𝒀 𝑺𝒀 𝒙
𝑿−𝑿
𝑺𝒙 𝑺𝒙
}
𝑿2𝑿
iii. Típicas. 𝒁′𝒀w = 𝒓𝑿𝒀 · 𝒁𝒙 = 𝒓𝑿𝒀 ·
𝑺𝒙

Donde,
a es la ordenada en el origen o término constante (cuando X = 0). Se puede calcular: 𝑎 = 𝑌T − 𝑏 𝑋T
b es la pendiente de la recta de regresión. Se puede obtener en función del coeficiente de validez y de las desviaciones
Xy
típicas de las puntuaciones obtenidas por los sujetos en el test y en el criterio: 𝑏 = 𝑟Ux
XY

Héctor Martínez I UNED La Rioja Tema 6. Validez de las inferencias (I)


6. VALIDACIÓN CON UN CRITERIO PREDICTOR Y UN SOLO INDICADOR DEL CRITERIO (p. 298) T6 I 28
2. MODELO DE REGRESIÓN LINEAL
2.b Varianza residual o varianza error y el error típico de estimación (𝑺𝒀·𝑿 )
Se denomina Error de Estimación a la diferencia entre la puntuación que ha obtenido un sujeto en el criterio (Y) y la que se le
pronostica mediante la ecuación de regresión (Y’): 𝐸 = 𝑌 − 𝑌′

Con cada sujeto se comete un determinado error de estimación. A la varianza de todos los errores de estimación cometidos
con los sujetos de la muestra (N) se denomina Varianza residual, Varianza error o Error cuadrático medio (𝑺𝟐𝒀·𝑿 ) y su fórmula
es:
∑ x2xw 1
n
𝑆x·U = = 𝑆xn − 𝑆xn„ = 𝑆xn (1 − 𝑟m…
n
)
ƒ

Esta varianza error representa la variabilidad media de las puntuaciones de los sujetos en el criterio respecto a la puntuación
que se les pronostica mediante la recta de regresión. A la desviación típica de estos errores se denomina: Error típico de
estimación (𝑺𝒀·𝑿 ) y su fórmula es:

n n ∑ x2xw 1
𝑆x·U = 𝑆x·U = 𝑆x (1 − 𝑟m… )= en puntuaciones directas o diferenciales
ƒ

n en puntuaciones típicas
𝑆†x·†U = (1 − 𝑟m… )

Héctor Martínez I UNED La Rioja Tema 6. Validez de las inferencias (I)


6. VALIDACIÓN CON UN CRITERIO PREDICTOR Y UN SOLO INDICADOR DEL CRITERIO (p. 298) T6 I 29
2. MODELO DE REGRESIÓN LINEAL
2.c Intervalos de confianza. Pasos para su estimación:
1. Determinar un nivel de confianza y buscar su puntuación típica asociada.
2. Calcular el error típico de estimación (ver apartado b).
3. Calcular el error máximo.
Emáx = Zc · Sy·x (en puntuaciones directas y diferenciales)
emáx = Zc · SZy·Zx (en puntuaciones típicas)
4. Aplicar la ecuación de regresión correspondiente y obtener la puntuación pronosticada.
5. Establecer el intervalo de confianza.
I.C. = Y’ ± Zc · Sy·x (en puntuaciones directas)
I.C. = y’ ± Zc · Sy·x (en puntuaciones diferenciales)
I.C. = Zy’ ± Zc · SZy·Zx (en puntuaciones típicas)

Dicho de otra forma, podemos construir un intervalo de confianza para la puntuación en el criterio (Y) sumando y restando el
error máximo admisible (que es 𝑍^ por el error típico, en este caso, de estimación (𝑆x·U )):

𝒀w ± 𝒁𝒄 · 𝑺𝒀·𝑿 (donde 𝑍^ es el valor de la N (0,1) que deja a su derecha)
n
Héctor Martínez I UNED La Rioja Tema 6. Validez de las inferencias (I)
6. VALIDACIÓN CON UN CRITERIO PREDICTOR Y UN SOLO INDICADOR DEL CRITERIO (p. 298) T6 I 30
Ej. Junio 2017. 2ª semana. 20. A una muestra de 500 sujetos se les ha aplicado un test de percepción compuesto por 10 ítems.
El coeficiente de fiabilidad del test fue 0,78 y su correlación con un criterio fue 0,70. La media y la varianza del test fueron
respectivamente de 6 y 4 puntos y las del criterio de 100 y 25 puntos. ¿Entre qué límites estará la puntuación directa de un
sujeto en el criterio si en el test obtuvo una puntuación de 7 puntos? (n.c. 99%): a) 80,25 y 110,72; b) 115,25 y 141,32; c) 92,5 y
110,96

Héctor Martínez I UNED La Rioja Tema 6. Validez de las inferencias (I)


6. VALIDACIÓN CON UN CRITERIO PREDICTOR Y UN SOLO INDICADOR DEL CRITERIO (p. 298) T6 I 31
Ej. Junio 2017. 2ª semana. 20. A una muestra de 500 sujetos se les ha aplicado un test de percepción compuesto por 10 ítems.
El coeficiente de fiabilidad del test fue 0,78 y su correlación con un criterio fue 0,70. La media y la varianza del test fueron
respectivamente de 6 y 4 puntos y las del criterio de 100 y 25 puntos. ¿Entre qué límites estará la puntuación directa de un
sujeto en el criterio si en el test obtuvo una puntuación de 7 puntos? (n.c. 99%): a) 80,25 y 110,72; b) 115,25 y 141,32; c) 92,5 y
110,96
Solución. Al ser puntuaciones directas:
I.C. = Y’ ± Zc · Emax
↘ Emáx = Zc · Sy·x
n
↘ S•·Ž = S•·Ž = S•n (1 − r•‘
n ) =S n
• 1 − r•‘

S•
Y w = a + bX = rŽ• } +Y
X−X }
S•


Para obtener Zc , en este caso al 99%, vamos a la Tabla 1 (F80), que deja 1 − , es decir al 0,995. Por tanto, 2,58.
n

Héctor Martínez I UNED La Rioja Tema 6. Validez de las inferencias (I)


6. VALIDACIÓN CON UN CRITERIO PREDICTOR Y UN SOLO INDICADOR DEL CRITERIO (p. 298) T6 I 32
Ej. Junio 2017. 2ª semana. 20. A una muestra de 500 sujetos se les ha aplicado un test de percepción compuesto por 10 ítems.
El coeficiente de fiabilidad del test fue 0,78 y su correlación con un criterio fue 0,70. La media y la varianza del test fueron
respectivamente de 6 y 4 puntos y las del criterio de 100 y 25 puntos. ¿Entre qué límites estará la puntuación directa de un
sujeto en el criterio si en el test obtuvo una puntuación de 7 puntos? (n.c. 99%): a) 80,25 y 110,72; b) 115,25 y 141,32; c) 92,5 y
110,96
Solución.
I.C. = Y’ ± Zc · Sy·x = 101,75 ± 9,21 → 92,54 < Y’ < 110,96
↘ Emáx = Zc · Sy·x = 2,58 · 3,57 = 9,21
n
↘ S•·Ž = S•·Ž = S•n (1 − r•‘
n ) =S n n
• 1 − r•‘ = 5 1 − 0,70 = 3,57

S• 5
Y w = a + bX = rŽ• } +Y
X−X } = 0,70 7 − 6 + 100 = 101,75
S• 2

Héctor Martínez I UNED La Rioja Tema 6. Validez de las inferencias (I)


6. VALIDACIÓN CON UN CRITERIO PREDICTOR Y UN SOLO INDICADOR DEL CRITERIO (p. 302) T6 I 33
3. INTERPRETACIÓN DE LA EVIDENCIA OBTENIDA ACERCA DE LA CAPACIDAD PREDICTORA DEL TEST (F37)
COEFICIENTES DEFINICIÓN CÁLCULO
Equivale al Coeficiente de Validez al cuadrado (𝒓𝟐𝒙𝒚 ) y representa la
DETERMINACIÓN proporción de la varianza de las puntuaciones de los sujetos en el n
1
Xy„
criterio (variable dependiente) que se puede pronosticar a partir 𝐶. 𝐷. = 𝑟m… =
(C.D.) Xy1
del test (variable predictora o independiente). También se define
como la varianza común o asociada entre el test y el criterio.

Héctor Martínez I UNED La Rioja Tema 6. Validez de las inferencias (I)


6. VALIDACIÓN CON UN CRITERIO PREDICTOR Y UN SOLO INDICADOR DEL CRITERIO (p. 302) T6 I 34
3. INTERPRETACIÓN DE LA EVIDENCIA OBTENIDA ACERCA DE LA CAPACIDAD PREDICTORA DEL TEST (F37)
COEFICIENTES DEFINICIÓN CÁLCULO
Equivale al Coeficiente de Validez al Cuadrado (𝒓𝟐𝒙𝒚 ) y representa la
DETERMINACIÓN proporción de la varianza de las puntuaciones de los sujetos en el n
1
Xy„
criterio (variable dependiente) que se puede pronosticar a partir 𝐶. 𝐷. = 𝑟m… =
(C.D.) Xy1
del test (variable predictora o independiente). También se define
como la varianza común o asociada entre el test y el criterio.
Indica la proporción que representa el error típico de estimación
ALIENACIÓN respecto a la desviación típica de las puntuaciones en el criterio. Xy·š n
𝐶. 𝐴. = 𝐾 = = 1 − 𝑟m…
(C.A.) Mide la inseguridad (proporción de azar) que afecta a los Xy
pronósticos.
VALOR Es el complementario del coeficiente de alienación y es otra forma
PREDICTIVO de expresar la capacidad del test para pronosticar el criterio ya que n
𝐶. 𝑉. 𝑃. = 1 − 𝐶. 𝐴. = 1 − 1 − 𝑟m…
(C.V.P.) representa la proporción de seguridad en los pronósticos.

Héctor Martínez I UNED La Rioja Tema 6. Validez de las inferencias (I)


6. VALIDACIÓN CON UN CRITERIO PREDICTOR Y UN SOLO INDICADOR DEL CRITERIO (p. 302) T6 I 35
ECUACIONES SECUNDARIAS:
n
Error típico de estimación en puntuaciones directas y diferenciales 𝑆x·U = 𝑆x 1 − 𝑟m…

n
Error típico de estimación en puntuaciones típicas 𝑆†m·†… = 1 − 𝑟m…

𝑆Ux
Cef. de validez (correlación) 𝒓𝑿𝒀 =
𝑆m · 𝑆x

Varianzas 𝑺𝟐𝒀 = 𝑺𝟐𝒀w + 𝑺𝟐𝒀·𝑿

𝑺𝟐𝒀„ 𝑺𝟐𝒀·𝑿 𝑺𝟐𝒀·𝑿


𝟏= + ; = 𝟏 − 𝒓𝟐𝒙𝒚 ; 𝑺𝟐𝒀·𝑿 = 𝑺𝟐𝒀 (𝟏 − 𝒓𝟐𝒙𝒚 )
𝑺𝟐𝒀 𝑺𝟐𝒀 𝑺𝟐𝒀

Héctor Martínez I UNED La Rioja Tema 6. Validez de las inferencias (I)


6. VALIDACIÓN CON UN CRITERIO PREDICTOR Y UN SOLO INDICADOR DEL CRITERIO (p. 304) T6 I 36
Ejemplo del libro. Supongamos que se quiere llevar a cabo un estudio de validación relativa al criterio de un test de aptitud
mecánica (X); para ello, se aplica a una muestra de sujetos representativa de la población en la que se va a utilizar el test. Estos
sujetos son evaluados posteriormente por sus supervisores, en una escala de 0-10, utilizando como indicador de su capacidad
mecánica el tiempo (horas), que tarda cada uno en reparar un coche (Y) con la misma avería. Los resultados son (blanco):
X Y X2 Y2 X·Y Y’ (Y–Y’) (Y–Y’)2
12 9 144 81 108 7,89 1,11 1,23
14 7 196 49 98 8,68 -1,68 2,82
15 10 225 100 150 9,08 0,92 0,85
7 8 49 64 56 5,91 2,09 4,37
9 5 81 25 45 6,71 -1,71 2,92
4 4 16 16 16 4,73 -0.73 0,53
𝜮 61 43 711 335 473 43 0 12,72

10. Calculo el Coeficiente de Validez. En este caso, tanto el test como la medida del criterio son variables cuantitativas, por lo
tanto, para calcular el coeficiente de validez el índice más adecuado es la correlación producto-momento de Pearson.
Utilizando la calculadora el valor de r = 0,73. Si lo ejecuto tendría:
𝑁Σ𝑋𝑌 − Σ𝑋Σ𝑌 6 · 473 − 61 · 43 215
𝑟U… = = = = 𝟎, 𝟕𝟑
𝑁Σ𝑋 n − Σ𝑋 n [𝑁Σ𝑌 n − Σ𝑌 n ] 6 · 711 − 61 n [6 · 335 − 43 n ] 87745
El resultado está cercano a 1, lo que indica una buena capacidad predictiva.
Héctor Martínez I UNED La Rioja Tema 6. Validez de las inferencias (I)
6. VALIDACIÓN CON UN CRITERIO PREDICTOR Y UN SOLO INDICADOR DEL CRITERIO (p. 304) T6 I 37
20. Ecuaciones de Regresión. Una vez “validado” definiremos las ecuaciones de regresión (en puntuaciones directas,
diferenciales y típicas) que, posteriormente, nos servirán para predecir las puntuaciones que obtendrán en el criterio otros
sujetos, de las mismas características que los de la población sobre la que se construyeron, a partir de sus puntuaciones en el
test. Para ello, bastará sustituir el valor de X en la ecuación por las puntuaciones obtenidas por los sujetos.
Para calcular las ecuaciones de regresión requiero calcular antes medias, varianzas y desviaciones típicas de X e Y. Por eso:
∑ 𝑋 61 ∑ 𝑌 43
𝑋T = = = 10,17; 𝑌T = = = 7,17
𝑁 6 𝑁 6
∑𝑋 711
𝑺𝟐𝒙 = − 𝑋T n = − 10,17n = 15,07 → 𝑺𝒙 = 𝟑, 𝟖𝟖
𝑁 6
∑𝑌 n
335
𝑺𝟐𝒀 = − 𝑌T n = − 7,17n = 4,43 → 𝑺𝒀 = 𝟐, 𝟏𝟎
𝑁 6
i. Directas. 𝒀 = 𝒂 + 𝒃𝑿 → 𝒀 = 𝟑, 𝟏𝟓 + 0,395𝑿
Xy n,¤¥
Donde: 𝑏 = 𝑟Ux = 0,73 = 0,395
XY f,jj
𝑎 = 𝑌T − 𝑏 𝑋T = 7,17 − 0,395 · 10,17 = 3,15
ii. Diferenciales. 𝒚′ = 𝒃𝑿 → 𝒀 = 0,395𝑿
iii. Típicas. 𝒁′𝒀w = 𝒓𝑿𝒀 · 𝒁𝒙 → 𝒁′𝒀w = 𝟎, 𝟕𝟑 · 𝒁𝒙

Héctor Martínez I UNED La Rioja Tema 6. Validez de las inferencias (I)


6. VALIDACIÓN CON UN CRITERIO PREDICTOR Y UN SOLO INDICADOR DEL CRITERIO (p. 304) T6 I 38
30. A continuación calculamos el error típico de estimación. Vamos comprobar cómo la varianza de las puntuaciones de los
sujetos en el criterio es = a la varianza de las puntuaciones pronosticadas más la varianza de los errores, para ello basta
calcular las 3 varianzas:
𝑺𝟐𝒀 = 4,43
∑ 𝑌′n
𝟐
𝑺𝒀w = } n = 322,36 − 51,41n = 2,31
− 𝑌′
𝑁 6
n n n n
𝟐
∑ 𝑌 − 𝑌′ 9 − 7,89 + 7 − 8,68 + 10 − 9,08 + 8 − 5,91 n + 5 − 6,71 n + 4 − 4,73 n
𝑺𝒀·𝑿 = = = 2,12
𝑁 6
𝑺𝟐𝒀 = 𝑺𝟐𝒀w + 𝑺𝟐𝒀·𝑿 → 𝟒, 𝟒𝟑 = 𝟐, 𝟏𝟐 + 𝟐, 𝟑𝟏 𝒄. 𝒒. 𝒅

A la desviación típica de los errores de estimación la llamamos error típico de estimación. Se calcula:
𝑺𝒀·𝑿 = 𝑺𝟐𝒀·𝑿 = 𝟐, 𝟏𝟐 = 1,46

Héctor Martínez I UNED La Rioja Tema 6. Validez de las inferencias (I)


6. VALIDACIÓN CON UN CRITERIO PREDICTOR Y UN SOLO INDICADOR DEL CRITERIO (p. 304) T6 I 39
40. Ahora ya podemos calcular los intervalos Confidenciales realizando la estimación de la puntuación que se le pronosticaría
a un sujeto en el criterio a partir de su puntuación en un test. Para ello recurrimos a un ejemplo. Imagina que un sujeto ha
obtenido en el test un 13 (X = 13). ¿Qué puntuación estimada tendría en el criterio con un n.c del 95%?
N.C 95% → 𝒁𝒄 = 𝟏, 𝟗𝟔
Error típico de estimación: 𝑺𝒀·𝑿 = 1,46. Por tanto, el error máximo = 𝑍^ · 𝑆x·U = 1,96 · 1,46 = 𝟐, 𝟖𝟔
Y si, en lugar de para un sujeto nos hablan de toda la muestra → Hablaremos de puntuaciones típicas
Si nos piden el pronóstico de puntuaciones típicas el Error Típico de estimación (F35) será:
n
𝑆†m·†… = 1 − 𝑟m… = 1 − 0,73n = 𝟎, 𝟔𝟗
El Error máximo de puntuaciones típicas será entonces = 𝑍^ · 𝑆†m·†… = 1,96 · 0,69 = 𝟏, 𝟑𝟓
Las ecuaciones de regresión, para una supuesta puntuación de 13 en el test, serían:
i. Directas. 𝒀w = 𝒂 + 𝒃𝑿 → 𝒀 = 𝟑, 𝟏𝟓 + 0,395 · 𝑿 = 𝟑, 𝟏𝟓 + 0,395 · 𝟏𝟑 = 𝟖, 𝟐𝟖
ii. Diferenciales. Y’= 𝒃𝑿 → 𝒀 = 0,395𝑿 = 0,395 · 𝟏𝟑 = 𝟏, 𝟏𝟐
iii. Típicas. 𝒁′𝒀w = 𝒓𝑿𝒀 · 𝒁𝒙 → 𝒁′𝒀w = 𝟎, 𝟕𝟑 · 𝒁𝒙 = 𝟎, 𝟕𝟑 · 𝟎, 𝟕𝟑 = 𝟎, 𝟓𝟑
Finalmente, la puntuación en el criterio de este sujeto estaría, al 95%, dentro de los siguientes intervalos:
𝒀w ± 𝒁𝒄 · 𝑺𝒀·𝑿 → 𝟖, 𝟐𝟖 ± 𝟐, 𝟖𝟔 → 𝟓, 𝟒𝟐 ≤ 𝒀′ ≤ 𝟏𝟏, 𝟏𝟒
𝒚w ± 𝒁𝒄 · 𝑺𝒀·𝑿 → 𝟏, 𝟏𝟐 ± 𝟐, 𝟖𝟔 → −𝟏, 𝟕𝟒 ≤ 𝒚′ ≤ 𝟑, 𝟗𝟖
𝒁′𝒀w ± 𝒆𝒎á𝒙 → 𝟎, 𝟓𝟑 ± 𝟏, 𝟑𝟓 → −𝟎, 𝟖𝟐 ≤ 𝒁′𝒀w ≤ 𝟏, 𝟖𝟖

Héctor Martínez I UNED La Rioja Tema 6. Validez de las inferencias (I)


6. VALIDACIÓN CON UN CRITERIO PREDICTOR Y UN SOLO INDICADOR DEL CRITERIO (p. 304) T6 I 40
Si ahora calculamos los coeficientes:
1
n Xy„ n,f¤
i. Coeficiente de determinación: 𝐶. 𝐷. = 𝑟m… = = = 𝟎, 𝟓𝟐
Xy1 g,gf
Si multiplicamos el C.D. por 100, para obtener un porcentaje, tenemos un 52% que será el porcentaje de varianza común entre
ambas variables. Esto significaría que a partir de las puntuaciones obtenidas por los sujetos en el test podemos predecir el
52% de la variación de las puntuaciones de esos mismos sujetos en el criterio (el resto, el 48% de la varianza quedará sin
explicar por el test; varianza error

Xy·š n
ii. Coeficiente de alienación: 𝐶. 𝐴. = 𝐾 = = 1 − 𝑟m… = 1 − 0,52 = 𝟎, 𝟔𝟗
Xy
Este porcentaje, 69%, implica un 69% de inseguridad en los pronósticos frente a un 31% de seguridad.
n
iii. Coeficiente de valor predictivo: 𝐶. 𝑉. 𝑃. = 1 − 1 − 𝑟m… = 1 − 1 − 0,52 = 𝟎, 𝟑𝟏

Héctor Martínez I UNED La Rioja Tema 6. Validez de las inferencias (I)

Potrebbero piacerti anche