Documenti di Didattica
Documenti di Professioni
Documenti di Cultura
PRCTICA N 1
2011-I
INTRODUCCIN
Las caractersticas de un buen instrumento son la Validez y la Confiabilidad. La validez, se refiere al
grado en que un instrumento realmente mide la variable que pretende medir; por ejemplo, una prueba
sobre conocimientos sobre Lactancia Materna debe medir esto y no slo los conocimientos sobre el valor
nutricional de la leche materna. Aparentemente lograr la validez es algo sencillo, sin embargo la situacin
no es tan simple cuando se trata de variables como la motivacin, la calidad de servicio a los clientes, las
actitudes entre otras. La validez es un concepto del cual pueden tenerse diferentes tipos de evidencia 1: a)
del contenido, realizada por el juicio de expertos; b) del constructo, se refiere a que tan exitosamente un
instrumento representa y mide un concepto terico y c) del criterio que implica que la medicin del
instrumento se ajusta o compara a un criterio externo -gold estndar. Este criterio puede ser concurrente
si se mide al mismo tiempo que el instrumento (por ejemplo usar un cuestionario sobre sntomas del
tracto gastrointestinal superior y compararlo con una endoscopia-gold estandar) o predictiva -por
ejemplo el puntaje que obtuvo un postulante en el examen de admisin comparado con el promedio
ponderado -gold estndar- obtenido cinco aos despus al egresar de la universidad.
El juicio de experto se establece recopilando opiniones emitidas por personas calificadas en las variables
a investigar; se busca constatar si es coherente la relacin entre las preguntas (reactivos tems) que
incluye el instrumento y las variables (con sus dimensiones, si las tuviera) a ser medidas con dicho
cuestionario.
La prueba piloto consiste en aplicar todo el procedimiento que se realizar con la muestra final a personas
con caractersticas semejantes a las de la muestra del estudio, con el objetivo de poner a prueba la
metodologa, la muestra, la funcionalidad de los instrumentos, el anlisis de los datos, es decir la logstica
y por ende la viabilidad del proyecto de investigacin. Si slo se aplica el cuestionario entonces el
OBJETIVOS
Al terminar la presente prctica el estudiante ser capaz de:
Evaluar los resultados de la validacin de un instrumento a travs del juicio de expertos.
Identificar los pasos para realizar una prueba piloto.
Realizar una prueba alfa de Cronbach.
METODOLOGA
Validacin de un instrumento a travs del juicio de expertos
1.- Durante la elaboracin del proyecto de investigacin se realiza la operacionalizacin de variables, y es
a partir de ella que se comienza a elaborar las preguntas segn cada dimensin -si la tuviera- sino segn
su(s) variable(s).
2.- Tiene que seleccionar a sus jueces expertos entre las personas que adems de dominar las variables que
van a ser medidas con el cuestionario estar familiarizado con el grupo poblacional al cual va dirigida la
encuesta y deber conocer acerca de la metodologa de investigacin, especficamente elaboracin de
instrumentos.
3.- Una vez seleccionados los jueces expertos se les enviar una carta, la matriz de consistencia del
proyecto, el cuadro de operacionalizacin de variables y un formato de evaluacin del instrumento. El
modelo de la carta y del formato se encuentran en la Gua N 7 de curso de Investigacin en Alimentacin
y Nutricin I3. Toda vez que llenar el formato de evaluacin demanda un tiempo extra y no todos los
expertos cuentan con dicho tiempo es que se recomienda invitar a ms de ocho jueces. El nmero mnimo
de expertos es ocho porque segn la prueba binomial, si se tiene ocho jueces uno de ellos puede discrepar
y el tem sigue siendo vlido. Si se tiene menos de ocho jueces significara que todos deben concordar, lo
cual no siempre ocurre. Por ello se aconseja enviar cartas y formatos a 10 jueces expertos, por lo menos.
4.- Se les dar a los jueces el plazo prudencial de una semana para que respondan. Trate de recibir las
observaciones personalmente pues el dilogo suele ser muy enriquecedor y le harn notar detalles de los
cuales usted no se haba percatado.
Evaluacin de las respuestas
Una vez que usted haya conseguido las respuestas ocho jueces como mnimo se procede a la evaluacin
cualitativa y cuantitativa de las mismas. La evaluacin Cualitativa consiste en considerar todas las
sugerencias, aportes que han escrito los jueces en el instrumento; ello ayuda al investigador a mejorar las
preguntas del cuestionario, y de ser necesario eliminar aquellas que no tienen relacin con la
dimensin/variable que se est midiendo.
Juez1
Juez2
Juez3
Juez4
Juez5
Juez6
Juez7
Juez8
p valor
Juez2
1
Juez3
1
Juez4
1
Juez5
1
Juez6
0
Juez7
1
Juez8
1
p valor
0.0313
2
3
4
5
6
7
1
0
1
1
1
1
1
0
1
1
1
1
1
0
1
1
1
0
1
0
1
1
1
1
1
0
1
1
0
1
0
0
1
1
0
1
1
0
1
1
1
1
1
0
1
1
1
1
0.0313
0.0039
0.0039
0.0039
0.1094
0.0313
Los tems: N 1, 2, 4, 5 y 7 tienen un p valor < 0.05, por lo tanto si existe concordancia entre los jueces
para dichos tems. El tem N 6, Los tems son claros y entendibles el p valor > 0.05. Por lo tanto no hay
concordancia entre los jueces, se debe revisar en la parte cualitativa las razones por las cuales los jueces
han opinado as. En el tem N 3 La estructura del instrumento es adecuada el p valor <0.05 por lo tanto
hay concordancia entre los jueces, ellos acuerdan en que est fallando el instrumento en dicho tem; se
debe revisar la parte cualitativa para re-estructurar el cuestionario. Cabe recalcar que no es
estadsticamente correcto calcular el promedio de los valores p a fin de obtener una valoracin total de los
jueces expertos; a continuacin se indicara que procedimiento seguir.
Recordemos que los principios ticos deben prevalecer a lo largo de nuestro trabajo y ello implica que
debemos poner las opiniones de todos los jueces, aunque algunos nos puedan resultar adversas.
EJERCICIO: Realice la prueba binomial con los resultados de alguno de sus compaeros de equipo que
ya la ejecut. Caso contrario proponga un ejemplo ficticio.
ITEMS
1.
2.
3.
4.
5.
6.
7.
Juez1
Juez2
Juez3
Juez4
Juez5
Juez6
Juez7
Juez8
p valor
Juez1
1
1
0
1
1
1
1
Juez2
1
1
0
1
1
1
1
Juez3
1
1
0
1
1
1
0
Juez4
1
1
0
1
1
1
1
Juez5
1
1
0
1
1
0
1
2.- Tenemos un total de 35 respuestas (7 items x 5 jueces) de las cuales 28 son 1. Aplicamos la siguiente
frmula, donde:
b = Grado de concordancia entre jueces; Ta = n total de acuerdos; Td = n total de desacuerdos.
b=
Ta
Ta + Td
x 100
80.0%
ITEMS
1.
2.
3.
4.
5.
6.
7.
Juez1
Juez2
Juez3
Juez4
Juez5
Juez6
Juez7
Juez8
2.- En la columna 7 vamos a sumar los valores de las preguntas. En la fila 16 se va a calcular la
varianza (var) de cada columna, incluida la columna de los totales; ello lo podemos hacer
utilizando la funcin =var(b2:b13) , en cada celda. Los resultados son var de P1= 0.97, var de
P2=0.91, var de P3=0.45; var P4=0.63; var P5=1.54 y var de la columna total de filas es 14.386
6
(que representa la variabilidad total). Tambin obtenemos la suma de las varianzas de todos los
tems, que es igual a 4.49
Encuestados
1
2
3
4
5
6
7
8
9
10
11
12
P1
2
2
2
2
5
2
4
2
3
2
3
3
Varianza x tem
0.97
Suma de varianzas de filas
P2
3
3
3
2
5
2
4
2
4
2
3
3
P3
3
2
2
2
4
3
3
2
3
2
3
2
P4
2
2
3
2
3
2
4
2
4
2
2
3
P5
2
2
2
1
5
1
1
1
1
1
3
3
0.91
4.49
0.45
0.63
1.54
Total Filas
12
11
12
9
22
10
16
9
15
9
14
14
Varianza total
columna
14.386
El valor de los ndices de consistencia interna se interpreta de la siguiente manera, cuanto mas
cerca est al valor de 1 habr una mayor consistencia interna; se considera adecuado a partir de
0.7.
ANEXO N1: Escala de calificacin del Juez Experto
N
1
2
CRITERIOS
SI
NO
OBSERVACIONES
3
4
5
6
7