UNT PIC 11

VALIDEZ Y CONFIABILIDAD
DE INSTRUMENTOS
Dr. Jorge Neciosup Obando
Estadístico-Demógrafo
Medidas estadísticas

Promedios
Varianzas
Coeficiente de Regresión
EL PROMEDIO ARITMÉTICO (media)
 Corresponde al centro de gravedad de la
masa de los datos. Por lo tanto los desvíos
de las observaciones respecto de la media
es cero:

X = Ʃ Xi /n

 Ʃ (Xi - X ) = 0
 Ʃ (Xi - X )2 es un mínimo
VARIANZA

Como

Ʃ (Xi - X )2 es un mínimo

Definimos varianza como:

2
Ʃ (Xi - X ) / n
 VARIANZA
 La varianza es el promedio de los desvíos al
cuadrado de las observaciones respecto del
promedio de los datos.
 Un valor de la varianza igual a cero implica que
se trata de un valor constante, no hay dispersión
alrededor de la media.
 Un valor muy grande de la varianza implica que
los datos están muy dispersos alrededor de la
media, haciendo inclusive de que ésta pierda
representatividad de los valores que son
promediados.
 La raíz cuadrada positiva de la varianza es
conocida como la desviación estándar de los datos
y se lee en las mismas unidades que las
observaciones.
Medida de correlación
Observe como se comportan las calificaciones
en dos asignaturas para 10 alumnos

física
18
alumno matemáticas física 16
Juan 18 16
14
Luis 11 10
12
Pedro 14 12
10
Segundo 15 13
Carlos 12 12 8

Luisa 17 15 6

Tilsa 8 9 4

Clara 11 10 2
Octavio 14 15 0
Roger 9 11 0 5 10 15 20

Matemáticas
 Observe ahora la relación de horas de
juego con aprovechamiento

horas_juego aprovechamiento
4 12
2 14
1 15
6 10
2 14
1 15
1 16
5 11
2 13
Horas de juego
El coeficiente de correlación
Mide la relación entre dos variables.
Su expresión en términos de los datos de las
dos variables es:

r xy

El coeficiente oscila entre -1 y 1, cuando la

medida es positiva se dice que la correlación
e directa, cuando negativa se dice que es
inversa
APLICACIÓN
 Con nuestra práctica de la sesión 1 del test con 5 ítems
piloteada con 10 alumnos.
 Hacemos las sumas horizontales y obtenemos los
puntajes al test
individuo item1 item2 item3 item4 item5 puntaje_test
1 3 4 5 3 3 18
2 4 3 3 3 5 18
3 3 3 3 4 3 16
4 4 4 5 5 3 21
5 3 3 5 2 5 18
6 4 4 5 5 3 21
7 3 3 5 2 4 17
8 4 4 3 4 3 18
9 3 3 4 3 2 15
10 5 4 2 3 3 17
Aplicación
Obtengamos el promedio y la
varianza de los puntajes al test
individuo item1 item2 item3 item4 item5 puntaje_test
1 3 4 5 3 3 18
2 4 3 3 3 5 18
3 3 3 3 4 3 16
4 4 4 5 5 3 21
5 3 3 5 2 5 18
6 4 4 5 5 3 21
7 3 3 5 2 4 17
8 4 4 3 4 3 18
9 3 3 4 3 2 15
10 5 4 2 3 3 17
Promedio 17.9
Varianza 3.29
Para interpretar, recuerde que se trata de un test
Likert calificado de 1 a 5, con 5 reactivos.
¿Cómo calificar un test que no
dispone de un baremo?
Criterio tres categorías: Digamos alto, medio, bajo
Considere el recorrido del puntaje al test:
Mínimo: (Nº reactivos x1), Máximo:(Nº reactivos x5)
Para nuestro ejemplo Min = 5, Máx=25 R=20
Observe que el recorrido R = Max – Min
Rangos de calificación:
Nivel Bajo: De Min a (Min + R/2)
Nivel Medio: De (Min + R/2) a (Min +0.75*R)
Nivel Alto: De (Min + 0.75*R) a Max
 Criterio 3 categorías:

Nivel Bajo Nivel Medio Nivel Alto

Nivel Bajo: De Min a (Min + R/2)

Nivel Medio: De (Min + R/2) a (Min +0.75*R)
Nivel Alto: De (Min + 0.75*R) a Max
Aplicación:
Ubique las categorías que califican los
10 individuos del test de 5 reactivos

Ninguno en 8 en Nivel
Nivel Bajo Medio
2 en Nivel Alto
Criterio a 2 categorías
Dos opciones:
 Criterio 1/2 - 1/2
 Criterio 2/3 – 1/3

 Criterio 1/2 – 1/2

Nivel Bajo: Min a Min + R/2
Nivel Alto: Min + R/2 a Max
 Criterio 2/3 - 1/3
Nivel Bajo: Min a Min + (2/3)*R
Nivel Alto: Min + (2/3)*R a Max
Dos categorías, criterio 50% - 50%

Nivel Bajo Nivel Alto

Dos categorías, criterio 2/3 - 1/3

Nivel Bajo Nivel Alto

 VALIDEZ DE LOS TEST
 La validación es un proceso, que incluye
procedimientos diferentes para comprobar si el
cuestionario mide realmente lo que dice medir.
Dicho de otro modo, tiene que ver con el tipo de
inferencias que pueden realizarse a partir de las
puntuaciones obtenidas en el test.
 Las inferencias pueden ser de muy diverso tipo:
¿qué rasgo estamos midiendo realmente?
 ¿Qué podemos predecir sobre el comportamiento
de un sujeto que obtiene una determinada
puntuación en el test?
 VALIDEZ DE LOS TEST
Tres tipos de validación:
 Validez de contenido: Juicio de expertos
 Validez de criterio: Relación frente a otro
instrumento (Medir el coeficiente de correlación)
 Validez de constructo ( Aplicación del análisis
factorial)
 Validez de Contenido: JUICIO DE EXPERTOS
El proceso de validación de contenido es eminentemente lógico, si bien
pueden utilizarse jueces expertos en el tema para valorar la congruencia
entre los diversos items y los diversos objetivos.
Existen procedimientos cuantitativos diversos para que cada experto
valore el grado en que un ítem sirve para evaluar el objetivo al que
corresponde. El procedimiento cuantitativo más sencillo sería el siguiente:
 - Especificar los diversos objetivos (áreas diferentes de contenidos) que
se pretenden evaluar.
 - Elaborar varios ítems para cada objetivo.
 - Invitar a un grupo de expertos según la naturaleza del test.
 - Pedirles que, según su opinión, asignen cada ítem al objetivo que
pretende medir, sobre la pertinencia, claridad en la redacción,
inducción a la respuesta
 - Seleccionar los ítems en los que los expertos manifiestan mayor
acuerdo en sus clasificaciones. Arreglar o descartar los ítems
observados
VALIDEZ DE CRITERIO
 El test que se viene construyendo o el que se pretende
emplear, es “cotejado” con un criterio externo, que
corresponde a otro test, digamos el que se utiliza
convencionalmente. Se aplica ambos test a un grupo de
individuos y se mide luego el coeficiente de correlación
entre los puntajes de cada test.
 A la correlación entre las puntuaciones en el test (X) y
en el criterio (Y) se le denomina coeficiente de validez,
lo designamos como rxy e indicará el grado en el que el
test sirve para pronosticar con precisión el rendimiento
en el criterio.
 VALIDEZ DE CONSTRUCTO
 El análisis factorial es una técnica
estadística multivariante que sirve para
estudiar las dimensiones que subyacen a
las relaciones entre varias variables.
Normalmente toma como datos de
partida la matriz de correlaciones entre
las n variables que interesa analizar
VALIDEZ DE CONSTRUCTO. Continuación

El análisis factorial se realiza con dos objetivos

1) determinar cual es el número de dimensiones
o factores que mide un test y descubrir cual es el
significado de cada una; 2) obtener la
puntuación de cada sujeto en cada dimensión.
Normalmente, el número de dimensiones que
mide un test es mucho menor que el de ítems.
Para descubrir su significado y darles sentido es
necesario fijarse en las variables que saturan de
forma elevada en cada dimensión.
Recurriendo al AF
de Componentes
Principales
Aplicación, con el test de 5 ítems con
SPSS
individu item item item item puntaje_
o 1 2 item3 4 5 test
Matriz de componentesa
1 3 4 5 3 3 18
Componente
2 4 3 3 3 5 18 1 2
3 3 3 3 4 3 16 item1 ,752 -,551
4 4 4 5 5 3 21 item2 ,850 ,189
5 3 3 5 2 5 18 item3 -,342 ,820
item4 ,784 ,349
6 4 4 5 5 3 21 item5 -,606 -,429
7 3 3 5 2 4 17 Método de extracción:
8 4 4 3 4 3 18 Análisis de componentes
principales.
9 3 3 4 3 2 15
2 componentes extraídos
10 5 4 2 3 3 17
 NIVEL DE CONFIABILIDAD
La precisión o fiabilidad de un test se puede entender
también como el grado en que diferentes subconjuntos de
items miden un rasgo o comportamiento homogéneo; es
decir, el grado en que covarían, correlacionan o son
consistentes entre sí diferentes partes del cuestionario.
Lo alternativa simple es obtener la consistencia entre dos
mitades del test (método de dos mitades) o entre tantas
partes como elementos tenga la prueba (consistencia
interna). Una alternativa muy utilizada es el método del
coeficiente Alpha de Combach.
Coeficiente Alpha de Crombach:

[k/(k-1) ]( 1 - Σ S r/S i)
2 2

S2r Varianza de reactivos

S2i Varianza del instrumento

K Número de reactivos ( items)

 TEST ALPHA DE CROMBACH
sujetos p1 p2 p3 p4 p5 p6 Suma ( puntaje )

1 5 4 3 6 2 1 21
2 4 6 5 4 2 2 23

3 2 4 1 1 2 1 11

4 3 2 3 2 4 3 17

5 7 5 7 1 4 3 27

6 5 4 2 4 3 1 19

7 6 5 4 5 5 5 30
8 6 4 3 1 1 1 16

S2r 2.78571429 1.35714286 3.42857143 4 1.83928571 2.125

(Varianzas de reactivos) Σ S2r 15.5357143

S2i 37.7142857

(Varianza del instrumento)

k/(k-1)( 1 - Σ S2r/S2i) = (6/(6-1))(1- 15.5357143/37.7142857)

= 0.70568
DOS TALLERES
UNA PLENARIA