Sei sulla pagina 1di 8

CURSO

INVESTIGACIN EN ALIMENTACIN Y NUTRICIN II

PRCTICA N 1

Validacin de Contenido mediante Juicio de Expertos


Planificacin de la prueba piloto
Medicin de la Confiabilidad mediante Alfa Cronbach

2011-I
INTRODUCCIN
Las caractersticas de un buen instrumento son la Validez y la Confiabilidad. La validez, se refiere al
grado en que un instrumento realmente mide la variable que pretende medir; por ejemplo, una prueba
sobre conocimientos sobre Lactancia Materna debe medir esto y no slo los conocimientos sobre el valor
nutricional de la leche materna. Aparentemente lograr la validez es algo sencillo, sin embargo la situacin
no es tan simple cuando se trata de variables como la motivacin, la calidad de servicio a los clientes, las
actitudes entre otras. La validez es un concepto del cual pueden tenerse diferentes tipos de evidencia 1: a)
del contenido, realizada por el juicio de expertos; b) del constructo, se refiere a que tan exitosamente un
instrumento representa y mide un concepto terico y c) del criterio que implica que la medicin del
instrumento se ajusta o compara a un criterio externo -gold estndar. Este criterio puede ser concurrente
si se mide al mismo tiempo que el instrumento (por ejemplo usar un cuestionario sobre sntomas del
tracto gastrointestinal superior y compararlo con una endoscopia-gold estandar) o predictiva -por
ejemplo el puntaje que obtuvo un postulante en el examen de admisin comparado con el promedio
ponderado -gold estndar- obtenido cinco aos despus al egresar de la universidad.
El juicio de experto se establece recopilando opiniones emitidas por personas calificadas en las variables
a investigar; se busca constatar si es coherente la relacin entre las preguntas (reactivos tems) que
incluye el instrumento y las variables (con sus dimensiones, si las tuviera) a ser medidas con dicho
cuestionario.
La prueba piloto consiste en aplicar todo el procedimiento que se realizar con la muestra final a personas
con caractersticas semejantes a las de la muestra del estudio, con el objetivo de poner a prueba la
metodologa, la muestra, la funcionalidad de los instrumentos, el anlisis de los datos, es decir la logstica
y por ende la viabilidad del proyecto de investigacin. Si slo se aplica el cuestionario entonces el

procedimiento se llama pre-evaluacin del instrumento 2. El objetivo de esta pre-prueba es obtener de


los encuestados las dificultades para responder el cuestionario, la comprensibilidad del lenguaje utilizado
y acerca de cualquier otra inquietud que ellos percibieran al responderlo. Segn refieren Hernndez,
Fernndez y Baptista1 con los resultados de la prueba piloto se puede calcular la confiabilidad y la
validez de la prueba.
En la presente gua la prueba piloto est enfocada a una investigacin que utilice encuestas, sin embargo
cabe sealar que quienes realizan mediciones en laboratorio tambin tienen que hacer calibracin de los
equipos y/o estandarizacin de las tcnicas cuando fuera necesario. De manera semejante quienes
estn elaborando nuevos alimentos tienen que hacer ensayos previos o preliminares a pequea escala
para determinar por ejemplo la proporcin ptima de ingredientes, los tiempos requeridos en cada parte
del proceso y otros aspectos especficos del proceso. Quienes deseen hacer intervenciones educativas
tienes que probar previamente el material que van a usar en las sesiones respectivas. De una u otra
manera los ensayos previos son muy importantes para las diferentes reas de la investigacin.

OBJETIVOS
Al terminar la presente prctica el estudiante ser capaz de:
Evaluar los resultados de la validacin de un instrumento a travs del juicio de expertos.
Identificar los pasos para realizar una prueba piloto.
Realizar una prueba alfa de Cronbach.

METODOLOGA
Validacin de un instrumento a travs del juicio de expertos
1.- Durante la elaboracin del proyecto de investigacin se realiza la operacionalizacin de variables, y es
a partir de ella que se comienza a elaborar las preguntas segn cada dimensin -si la tuviera- sino segn
su(s) variable(s).
2.- Tiene que seleccionar a sus jueces expertos entre las personas que adems de dominar las variables que
van a ser medidas con el cuestionario estar familiarizado con el grupo poblacional al cual va dirigida la
encuesta y deber conocer acerca de la metodologa de investigacin, especficamente elaboracin de
instrumentos.
3.- Una vez seleccionados los jueces expertos se les enviar una carta, la matriz de consistencia del
proyecto, el cuadro de operacionalizacin de variables y un formato de evaluacin del instrumento. El
modelo de la carta y del formato se encuentran en la Gua N 7 de curso de Investigacin en Alimentacin
y Nutricin I3. Toda vez que llenar el formato de evaluacin demanda un tiempo extra y no todos los
expertos cuentan con dicho tiempo es que se recomienda invitar a ms de ocho jueces. El nmero mnimo
de expertos es ocho porque segn la prueba binomial, si se tiene ocho jueces uno de ellos puede discrepar
y el tem sigue siendo vlido. Si se tiene menos de ocho jueces significara que todos deben concordar, lo
cual no siempre ocurre. Por ello se aconseja enviar cartas y formatos a 10 jueces expertos, por lo menos.
4.- Se les dar a los jueces el plazo prudencial de una semana para que respondan. Trate de recibir las
observaciones personalmente pues el dilogo suele ser muy enriquecedor y le harn notar detalles de los
cuales usted no se haba percatado.
Evaluacin de las respuestas
Una vez que usted haya conseguido las respuestas ocho jueces como mnimo se procede a la evaluacin
cualitativa y cuantitativa de las mismas. La evaluacin Cualitativa consiste en considerar todas las
sugerencias, aportes que han escrito los jueces en el instrumento; ello ayuda al investigador a mejorar las
preguntas del cuestionario, y de ser necesario eliminar aquellas que no tienen relacin con la
dimensin/variable que se est midiendo.

La evaluacin Cuantitativa es ms general pues valora al instrumento en su totalidad cubriendo


diferentes aspectos como son la coherencia con los objetivos, su estructura y comprensibilidad. Se realiza
mediante la prueba binomial.
Procedimiento para la aplicacin de la prueba binomial
1.- En una hoja Excel vaciar las respuestas de los jueces expertos segn el cuadro vaco siguiente. La
columna de tems se refiere a los que se emplearon en la Escala de calificacin del juez experto (Anexo
1). En cada celda del cuadro vaco digitar 1, si es que el juez respondi Si en el formato y 0 si
respondi que No. Colocaremos en la columna siguiente el p valor de cada tem
ITEMS
1.
2.
3.
4.
5.
6.
7.

Juez1

Juez2

Juez3

Juez4

Juez5

Juez6

Juez7

Juez8

p valor

2.- Se establecen la Ho y la Ha;


Ho: La proporcin de los jueces que dicen Si es igual a la de los jueces que dicen No.
Es decir que entre los jueces no hay concordancia, pues la proporcin es de 50%
Si y 50% No. Dicho de otra manera la probabilidad de xito es de 0.50
Ha: La proporcin de los jueces es diferente de 0.5. Si hay concordancia entre los jueces.
3.- Colocar el cursor en la celda correspondiente al tem 1 de la columna p valor y pulsar clic en
el botn funcin. En la
primera fila del ejemplo
ficticio tenemos 7 veces el
valor 1 y una vez el valor
0 por ello colocar 7 en el
casillero correspondiente a
Nm_xitos.
Luego
colocar 8en el casillero
siguiente Ensayos, pues
se tiene ocho jueces
expertos. En el 3 casillero
Prob_xito (probabilidad
de xito) colocar 0.5, pues
ese es el valor de la Ho. En
el 4 casillero escribir FALSO pues no se quiere la funcin acumulada, sino la probabilidad
bruta.
El resultado es 0.03125, por ser menor que 0.05 se rechaza la Ho y se acepta la Ha para el primer
tem. Es decir, si hay concordancia entre los jueces, aunque hay un juez que est discrepando.
4.- Repetir el procedimiento para los seis tems restantes del ejemplo ficticio:
ITEMS Juez1
1
1

Juez2
1

Juez3
1

Juez4
1

Juez5
1

Juez6
0

Juez7
1

Juez8
1

p valor
0.0313

2
3
4
5
6
7

1
0
1
1
1
1

1
0
1
1
1
1

1
0
1
1
1
0

1
0
1
1
1
1

1
0
1
1
0
1

0
0
1
1
0
1

1
0
1
1
1
1

1
0
1
1
1
1

0.0313
0.0039
0.0039
0.0039
0.1094
0.0313

Los tems: N 1, 2, 4, 5 y 7 tienen un p valor < 0.05, por lo tanto si existe concordancia entre los jueces
para dichos tems. El tem N 6, Los tems son claros y entendibles el p valor > 0.05. Por lo tanto no hay
concordancia entre los jueces, se debe revisar en la parte cualitativa las razones por las cuales los jueces
han opinado as. En el tem N 3 La estructura del instrumento es adecuada el p valor <0.05 por lo tanto
hay concordancia entre los jueces, ellos acuerdan en que est fallando el instrumento en dicho tem; se
debe revisar la parte cualitativa para re-estructurar el cuestionario. Cabe recalcar que no es
estadsticamente correcto calcular el promedio de los valores p a fin de obtener una valoracin total de los
jueces expertos; a continuacin se indicara que procedimiento seguir.
Recordemos que los principios ticos deben prevalecer a lo largo de nuestro trabajo y ello implica que
debemos poner las opiniones de todos los jueces, aunque algunos nos puedan resultar adversas.
EJERCICIO: Realice la prueba binomial con los resultados de alguno de sus compaeros de equipo que
ya la ejecut. Caso contrario proponga un ejemplo ficticio.

ITEMS
1.
2.
3.
4.
5.
6.
7.

Juez1

Juez2

Juez3

Juez4

Juez5

Juez6

Juez7

Juez8

p valor

Procedimiento para Porcentaje de acuerdo entre los jueces


Si quiere evaluar en conjunto todos los tems del formato de los jueces expertos o si es que no
hubiese conseguido los ocho jueces para hacer la prueba binomial entonces podr calcular el
porcentaje de acuerdo entre los jueces 4 de la siguiente manera:
1.- En una hoja Excel o en una de papel llene el cuadro que se le indic anteriormente. Vamos a
suponer que solo le contestaron cinco jueces y que sus respuestas estn resumidas en el cuadro
siguiente:
ITEMS
1.
2.
3.
4.
5.
6.
7.

Juez1
1
1
0
1
1
1
1

Juez2
1
1
0
1
1
1
1

Juez3
1
1
0
1
1
1
0

Juez4
1
1
0
1
1
1
1

Juez5
1
1
0
1
1
0
1

2.- Tenemos un total de 35 respuestas (7 items x 5 jueces) de las cuales 28 son 1. Aplicamos la siguiente
frmula, donde:
b = Grado de concordancia entre jueces; Ta = n total de acuerdos; Td = n total de desacuerdos.
b=

Ta
Ta + Td

x 100

Reemplazamos por los valores obtenidos:


b=
28
x 100
35
b=

80.0%

El resultado es que el 80% de las respuestas de los jueces concuerdan.


EJERCICIO: Calcule el porcentaje de concordancia de jueces con los resultados de alguno de sus
compaer@s de equipo que ya aplic. Caso contrario proponga un ejemplo ficticio.

ITEMS
1.
2.
3.
4.
5.
6.
7.

Juez1

Juez2

Juez3

Juez4

Juez5

Juez6

Juez7

Juez8

PLANIFICACION de la PRUEBA PILOTO


1. Uno de los primeros pasos para la prueba piloto es tener el instrumento validado por los jueces
expertos, al cual se le han incorporado las correcciones propuestas. Puede omitir dicho paso siempre y
cuando haya conseguido un instrumento validado segn referencia bibliogrfica respectiva.
2. Decidir el tamao de muestra y quienes sern los sujetos de estudio que van a participar en la muestra
piloto son puntos importantes. Por ello deber tener en cuenta:
a) Las personas encuestadas en la prueba piloto no deben ser parte de la muestra para el estudio
definitivo.
b) Las personas encuestadas en la prueba piloto deben tener las mismas caractersticas de la que
muestra del estudio (por ejemplo sexo y edad), pero al mismo tiempo deben representar la
mxima heterogeneidad de la poblacin -diferentes estratos- para lograr heterogeneidad en las
respuestas que puedan dar, por ejemplo si en la muestra final tendremos personas de diferente
nivel educativo en la muestra tambin deber estar presente esta heterogeneidad. Esto tiene por la
finalidad de lograr una mayor consistencia interna del instrumento como explicaremos mas
adelante.

c) El tamao de la muestra para el estudio piloto es menor al de la muestra para el estudio


definitivo; sin embargo los autores difieren respecto a la manera en que debe ser calculado.
Argimn y Jimnez5 sealan que el tamao de muestra del piloto debe ser mayor al nmero de
tems, y el nmero total de personas debe ser entre dos y diez veces el nmero total de tems;
Ruiz y Morillo6 sealan que se debe aplicar el instrumento a 20 30 personas; mientras que
Hernndez Fernndez y Baptista7 sealan que si la muestra final es de 300 o ms se lleve a cabo
la prueba piloto con entre 30 y 60 personas (o sea entre el 10% y el 20%).
d) Chvez de Paz8 sugiere que se tome como referencia el tamao de la muestra para el estudio
definitivo y a partir de ella (como si fuera el tamao del universo), utilizando la frmula
estadstica adecuada, se calcule el tamao de la muestra para la prueba piloto.
La seleccin de las unidades de anlisis para el piloto se hace siguiendo los mismos principios
del muestreo que se utilizar para la muestra del estudio definitivo. Este proceso tiene la ventaja
de obtener una muestra ms representativa para llevar a cabo el pretest o prueba piloto; sin
embargo exige el uso de mayores recursos econmicos, pues la muestra para el pre-test puede ser
tan grande que se constituya en otra investigacin.
e) Finalmente el tamao de muestra depender de los recursos econmicos con que se cuente.
3. De manera paralela deber asegurarse de tener suficiente nmero de formatos y de ser necesario ir
entrenando a las personas que le ayudar a aplicar el cuestionario.
4. Deber, as mismo gestionar la autorizacin correspondiente para poder realizar su prueba piloto en el
lugar que haya seleccionado. Como se dijo en la introduccin la prueba piloto implica hacer un
ensayo de toda la metodologa que se realizar con la muestra final, por lo tanto solicite con tiempo
los equipos y otros instrumentos que necesitar, as como tambin haga la compra del material
necesario. De manera que todo est listo para el da de la prueba piloto.
5. Una vez terminado el estudio piloto se digitar las encuestas recogidas pues tambin se trata de poner
a prueba el plan de crtica o control de calidad e los datos, su grado de consistencia, plan de
codificacin y procesamiento estadstico.
6. Si despus de calcular los ndices de consistencia interna (alfa de Cronbach, Prueba de Kuder
Richardson), el cuestionario no obtuvo los valores ptimos se debiera repetir la pre-prueba.

Evaluacin de la Consistencia Interna Prueba Alfa Cronbach Prueba Kuder


Richardson
Las pruebas estadsticas de la consistencia interna se realizan slo en aquellos instrumentos que son de
tipo discrimitativos, predictivos o evaluativos, es decir que van a sumar un puntaje. Aquellos formatos
para recoger informacin sobre caractersticas generales, ms an los que tienen sub-preguntas no pueden
ser evaluados mediante una prueba de alfa de Cronbach (variables politmicas), o prueba de Kuder y
Richarson (variables dicotmicas). O sea que podemos usar el alfa de Cronbach para medir actitudes en
escala tipo Likert (politmicas) y la prueba de Kuder en encuestas de conocimientos y listados de
observacin de prcticas en los cuales se considere que hay respuestas correctas e incorrectas
(dicotmicas).
Procedimiento
1.- Vamos a suponer que tenemos un cuestionario de cinco preguntas (P1 al P5) y que en la prueba piloto
hemos tenido 12 encuestados; as mismo vamos a suponer que no hay respuesta correcta y que nuestra
escala va del 1 al 5 (tipo Likert). Procedemos a digitar los datos tal y como aparecen de la fila 2 a la
fila 12 (ya que en la fila 1 estn los encabezados).

2.- En la columna 7 vamos a sumar los valores de las preguntas. En la fila 16 se va a calcular la
varianza (var) de cada columna, incluida la columna de los totales; ello lo podemos hacer
utilizando la funcin =var(b2:b13) , en cada celda. Los resultados son var de P1= 0.97, var de
P2=0.91, var de P3=0.45; var P4=0.63; var P5=1.54 y var de la columna total de filas es 14.386
6

(que representa la variabilidad total). Tambin obtenemos la suma de las varianzas de todos los
tems, que es igual a 4.49
Encuestados
1
2
3
4
5
6
7
8
9
10
11
12

P1
2
2
2
2
5
2
4
2
3
2
3
3

Varianza x tem
0.97
Suma de varianzas de filas

P2
3
3
3
2
5
2
4
2
4
2
3
3

P3
3
2
2
2
4
3
3
2
3
2
3
2

P4
2
2
3
2
3
2
4
2
4
2
2
3

P5
2
2
2
1
5
1
1
1
1
1
3
3

0.91
4.49

0.45

0.63

1.54

Total Filas
12
11
12
9
22
10
16
9
15
9
14
14
Varianza total
columna
14.386

A continuacin vamos a aplicar la siguiente frmula:

Reemplazando de la siguiente manera:


= (5/5-1) ( 1- ( 4.49/14.386))
= (1.25) (0.6877)
= 0.85966298

El valor de los ndices de consistencia interna se interpreta de la siguiente manera, cuanto mas
cerca est al valor de 1 habr una mayor consistencia interna; se considera adecuado a partir de
0.7.
ANEXO N1: Escala de calificacin del Juez Experto
N
1
2

CRITERIOS

SI

El instrumento recoge informacin que


permite dar respuesta al problema de
investigacin.
El instrumento propuesto responde al (los)

NO

OBSERVACIONES

3
4
5
6
7

objetivo (s) de estudio.


La estructura del instrumento es adecuada.
Los tems del instrumento responden a la
operacionalizacin de la variable.
La secuencia presentada facilita el
desarrollo del instrumento.
Los tems son claros y entendibles.
El nmero de tems es adecuado para su
aplicacin.

Potrebbero piacerti anche