CREACIN VALIDACIN Y OPTIMIZACIN DE INSTRUMENTOS

Dr. Adm. Isac Fernando Espinoza Montes

Docente Principal U.N.C.P.

Caractersticas de un instrumento de
medicin
21

Validez
Se refiere a la consistencia, es decir al grado en que la
prueba est midiendo lo que en realidad se desea medir
(v.g. inteligencia memoria; calidad competitividad;
eficiencia - eficacia).
Confiabilidad
Exactitud y precisin de los instrumentos de medicin. Grado
en que la aplicacin repetida al mismo sujeto u objeto,
produce resultados iguales (vg. Termmetro, balanza).

Caractersticas de un instrumento
de medicin
31

La medicin generalmente tiene un grado de error (lo que se trata es que

el error sea mnimo).

Medicin: valores observados = valores verdaderos + grado de error

X

Cuanto mayor sea el error al medir, el valor que observamos se aleja mas
del valor verdadero.
Dr. Isac Espinoza Montes

19/03/2016

Mtodos
Apropiados
Validez
(Precisin)

Confiabilidad
(Consistencia)

Estabilidad

Homogeneidad

Test Re-Test

Alfa de
Crombach

Formas
paralelas

KR-20 KR-21
Mitades
partidas
tem de correlacin
total

Equivalencia
Formas
paralelas
Inter
observaciones

Contenido
Validez facial

Criterio

Constructo

Concurrente

Comprobacin
de hiptesis

Predictivo

Convergente

Divergente
Grupos
contrastes
Anlisis factorial

Componentes de la confiabilidad

Estabilidad temporal, grado en que el instrumento de

medicin arroja el mismo resultado en diversas
mediciones.
Homogeneidad o consistencia interna, grado en que
se obtienen respuestas homogneas a diferentes
preguntas sobre una misma dimensin.
Equivalencia, grado de acuerdo entre un instrumento
y uno o mas versiones equivalentes de este.

Componentes de la Validez
61

La validez es un concepto del que se pueden tener;

Evidencia relacionada con el contenido,
Evidencia relacionada con el criterio y
Evidencia relacionada con el constructo.
Dr. Isac Espinoza Montes

19/03/2016

VALIDEZ
Dr. Isac Espinoza Montes

19/03/2016

Evidencia relacionada con el

contenido
81

Grado en el cual los tems son una muestra representativa de

la variable que se desea medir. Grado en que la medicin
representa al concepto medido.
ACE
GIK
MOQ
Instrumento con
validez de contenido

ACE
GK
MOQ

Instrumento sin
validez de contenido

AQ
Dr. Isac Espinoza Montes

19/03/2016

Evidencia relacionada con el

contenido
91

Para lograr una buena evidencia del

contenido debe tenerse en cuenta:
Definicin

conceptual
Definicin operacional
Pertinencia
Exhaustividad
Evaluacin o juicio de un experto
Dr. Isac Espinoza Montes

19/03/2016

Evidencia relacionada con el contenido: Ejemplo

Clima organizacional
Alvarez (1992), citando a Forehand y Gilmer (1964), seala que el ambiente interno o medio especifico percibido, conforma lo que se ha denominado cada
vez ms frecuentemente clima organizacional. Este aunque se refiere a propiedades o caractersticas que se encuentran en el ambiente de trabajo,
puede ser pensado como la personalidad de la organizacin, tal como es visto por sus miembros y que presumiblemente afecta el subsecuente
comportamiento.
101
() A pesar del esfuerzo realizado, en los diferentes trabajos investigativos, todava no existe un consenso sobre lo que realmente constituye las
dimensiones del constructo clima organizacional, y si el clima es definitivamente una variable independiente, una variable dependiente o una variable
interviniente. Las investigaciones demuestran que pueden comportarse como una u otra categora. (Goncalvez, 1999)
El clima organizacional contempla las siguientes dimensiones :

1. Relaciones interpersonales: grado en que los empleados se ayudan entre si y sus relaciones son respetuosas y consideradas
2. Estilo de direccin: grado en que los jefes apoyan, estimula y dan participacin a sus colaboradores.
3. Sentido de pertenencia: grado de orgullo derivado de la vinculacin a la empresa. Sentimiento de compromiso y responsabilidad en relacin con sus
objetivos y programas.
4. Retribucin: grado de equidad en la remuneracin y los beneficios derivados del trabajo

5. Disponibilidad de recursos: grado en que los empleados cuentan con la informacin, los equipos y el aporte requerido de otras personas y
dependencias para la realizacin de sus trabajo.
6. Estabilidad: grado en que los empleados ven en la empresa claras posibilidades de pertenencia y estiman que a la gente se la conserva o despide con
criterio justo.
7. Claridad y coherencia en la direccin: grado de claridad de la alta direccin sobre el futuro de la empresa. Medida en que las metas y programas de
las reas son consistentes con los criterios y polticas de la alta gerencia.
8. Valores colectivos: grado en el que se perciben en el medio interno: cooperacin, responsabilidad y respeto

Compare las dimensiones especificadas en la teora, con el instrumento de clima organizacional planteado.
Dr. Isac Espinoza Montes 19/03/2016

Evidencia relacionada con el contenido

Es el grado en que la
medicin representa al
concepto medido.

Se determina antes de la
aplicacin del instrumento,
mediante el Juicio de
Expertos.

11

Evidencia relacionada con el criterio

121

Establece la validez de un instrumento de medicin comparndola con

un criterio externo, que es un estndar con el que juzga la validez del
instrumento.
Cuando mas se relacionen los resultados del instrumento de medicin
con el criterio la validez de criterio ser mayor.
Validez concurrente, Los resultados del instrumento, se
correlacionan con el criterio en el mismo momento o punto del
tiempo (encuesta elecciones presidenciales).
Validez predictiva, cuando el criterio se fija en el futuro
(capacidad gerencial validada con el futuro desempeo)
Dr. Isac Espinoza Montes

19/03/2016

Evidencia relacionada con el criterio:

ejemplo
131

Estudiante
1
2
3
4

20

Prueba de
inteligencia

Calificaciones en el
colegio

Evidencia relacionada con el criterio:

ejemplo
141

Colaborador
1
2
3
4

20

Concurso de mritos

Evaluacin de
desempeo laboral

Evidencia relacionada con el criterio:

ejemplo
151

Colaborador
1
2
3
4

20

Evaluacin de
capacidad gerencial

Desempe;o
gerencial (futuro)

Evidencia relacionada con el constructo

161

Implica relacionar un instrumento de medicin con la

hiptesis y el marco terico para determinar si el
instrumento est ligado a los conceptos y a las
consideraciones tericas.
No es posible llevar a cabo la validez de constructo a
menos que exista un marco terico que soporte la
variable en relacin a otras variables.
Cuando mayor evidencia de validez de contenido,
criterio y de constructo tenga un instrumento de medicin;
este se acerca mas a representar la variable o variables
que pretende medir. Dr. Isac Espinoza Montes 19/03/2016

Validez: ejemplo

EVALU ACION DE INSTRUMENTOS:

INFORME DE EXPERTOS

171

Instrumento: A-21

Puntaje asignado de 1 a 5
N

Criterio:

Experto
1

Experto
2

Experto
3

Promedio

El instrumento mide las variables que se pretenden

medir?

Los reactivos son suficientes para la medicin de

todas las variables?

Las instrucciones
apropiadas?

4.67

Los reactivos son comprensibles y estn bien

redactados?

4.33

4.71

4.86

4.86

5
6
7

del

instrumento

le

parecen

El ordenamiento de los reactivos es adecuado?

La presentacin formal (tipo y tamao de letra,
etc.) del instrumento es apropiada?
La hoja de respuestas est bien presentada?
Promedio

Dr. Isac Espinoza Montes

19/03/2016

Experto N 1.- Mg. Elena Cano Correa

Experto N 2.- Dr. Dw ight Ordoez
Experto N 3.- Mg. Mara Eugenia Mansilla Arancibia

Validacin de instrumentos
N
1
2
3
4
5
6
7
8
9
10

TEMS
El instrumento tiene estructura lgica
La secuencia de presentacin de tems es ptima
El grado de complejidad o dificultad de los tems es
aceptable.
Los trminos utilizados en las preguntas son claros y
comprensibles
Los reactivos o tems reflejan el problema de
investigacin
El instrumento abarca en su totalidad el problema de
investigacin
Los tems permiten medir el problema de investigacin
Los reactivos o tems permiten recoger informacin
para alcanzar los objetivos de la investigacin
El instrumento abarca las variables, sub variables e
indicadores
Los tems permiten contrastar la hiptesis

SI
X
X
X

NO

X
X
X
X
X
X
X

Confiabilidad
(Consistencia)
Estabilidad
Test Re-Test
Formas
paralelas

CONFIABILIDAD
Dr. Isac Espinoza Montes

19

Homogeneidad
Alfa de
Crombach

KR-20 KR-21
Mitades partidas

Equivalencia
Formas
paralelas
Inter
observaciones

tem de correlacin
total

19/03/2016

Clculo de la confiabilidad
201

Existen diversos procedimientos. Todas utilizan coeficientes de

confiabilidad que fluctan entre 0 y 1 donde; coeficiente 0 significa
nula confiabilidad y coeficiente 1 significa absoluta confiabilidad
(total).
Entre mas se acerca a cero el coeficiente existe mayor error en la
medicin.
Los procedimientos mas utilizados son:
Coeficiente alfa de Cronbach.
Medida de estabilidad (confiabilidad por test-retest).
Mtodo de formas alternativas y paralelas.
Dr. Isac Espinoza Montes

19/03/2016

Coeficiente Alfa de Cronbach:

Definicin
Se trata de un ndice de consistencia interna que
toma valores entre 0 y 1 y que sirve para
comprobar si el instrumento que se est evaluando
recopila informacin defectuosa y por tanto nos
llevara a conclusiones equivocadas o si se trata de
un instrumento fiable que hace mediciones
estables y consistentes.
211

Dr. Isac Espinoza Montes

19/03/2016

Coeficiente Alfa de Cronbach:

Definicin

221

Alfa es un coeficiente de correlacin que mide la

homogeneidad de las preguntas promediando
todas las correlaciones entre todos los tems para
ver que efectivamente, se parecen.
Su interpretacin ser que, cuanto ms se acerque
el ndice al extremo 1, mejor es la fiabilidad,
considerando una fiabilidad respetable a partir
de 0,70.
Dr. Isac Espinoza Montes

19/03/2016

Coeficiente Alfa de Cronbach:

frmula

S
K

i
1

2
K 1
S

K
: El nmero de tems
Si^2 : Sumatoria de Varianzas de los tems
ST^2 : Varianza de la suma de los tems

: Coeficiente de Alfa de Cronbach

231

Dr. Isac Espinoza Montes

19/03/2016

Coeficiente Alfa de
Cronbach: Ejemplo
ITEMS

2
Si
K

2
K 1
S

SUMA DE
ITEMS

ii

iii

Arias (1)

13

Chenet (2)

14

Gutarra (3)

13

Medina (4)

12

Palacios (5)

Roque (6)

10

Si^2 (VARP)

1.58

1.14

1.47

Sujetos

9.14

S T^2
Si 2 :

241

4.19

Dr. Isac Espinoza Montes

19/03/2016

Coeficiente Alfa de
Cronbach: Ejemplo

K: El nmero de tems
:
Si^2 : Sumatoria de varianzas de los tems :
ST^2 : Varianza de la suma de los tems
:
: Coeficiente de Alfa de Cronbach

3
4.19

3 1
9.14

2
Si
K

2
K 1
S

3
4.19
9.14

0.81

Entre ms cerca de 1 est , ms alto es el grado de confiabilidad

251

Dr. Isac Espinoza Montes

19/03/2016

Medida de estabilidad, Test-Re-Test

261

Se refiere al grado en que la aplicacin repetida del

instrumento, al mismo sujeto u objeto, produce iguales
resultados.
Se aplica un instrumento de medicin a un grupo de
personas en dos ocasiones diferentes y se calcula la
correlacin entre las dos series de observaciones.
Al coeficiente obtenido en ese mtodo se le conoce como
fiabilidad estimada.
Dr. Isac Espinoza Montes

19/03/2016

Medida de estabilidad, Test-Re-Test

PRIMERA APLICACIN
ITEMS

ii

iii

SUMA DE
ITEMS

Sujetos
Arias (1)

Chenet (2)

Gutarra (3)

Medina (4)

Palacios (5)

Roque (6)

n AB

n n
2

13

14
13
12
5
10
SEGUNDA APLICACIN
ITEMS

ii

iii

Arias (1)

Chenet (2)

Gutarra (3)

Medina (4)

Palacios (5)

Roque (6)

SUMA DE
ITEMS

Sujetos

CORRELACION

271

85.41%

Dr. Isac Espinoza Montes

19/03/2016

11
13
13
8
6
9

Procedimiento de mitades partidas

281

Procedimiento de dos mitades, consiste en la divisin de tems en pares e

impares y requiere una sola aplicacin de la medicin (a diferencia de
las dos anteriores que requieren de dos administraciones de la medicin
al mismo grupo).
1 Se calcula el ndice de Correlacin (Pearson)
r

n AB

n n
2

2 Correccin de r con la ecuacin de Spearman Brown

R

2r
1 r

Dr. Isac Espinoza Montes

19/03/2016

Procedimiento de mitades partidas:

ejemplo
Items

II

III

Arias (1)

Chenet (2)

10

Gutarra (3)

Medina (4)

Palacios (5)

Roque (6)

44

23

Sujetos

ndice de correlacin de Pearson ( r )

: 0.66
Correccin segn Spearman-Brown ( R )
: 0.79
2r / (1+r)
Entre ms cerca de 1 est R, ms alto es el grado de confiabilidad
291

Dr. Isac Espinoza Montes

19/03/2016

301

CONFIABILIDAD
Muy baja

Baja

Regular

Aceptable

Elevada

0% de
confiabilidad
en la medicin
(la medicin est
contaminada de
error).

100%
de confiabilidad
en la medicin
(no hay error).
Dr. Isac Espinoza Montes

19/03/2016

TALLER: Validez y confiabilidad

311

Se aplica una prueba piloto para fichas de observacin aplicadas

a una muestra de 30 unidades de anlisis de una empresa
productiva. Los indicadores son:

Calidad

Economa de escala

Valor agregado y

Competitividad

Verificar la validez y confiabilidad basado en los datos que se

adjuntan a continuacin. Dr. Isac Espinoza Montes 19/03/2016

ITEM 1

321
SUJETOS
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
19/03/2016
29
30

CALIDAD
15
19
15
15
18
15
14
13
20
19
18
16
14
17
14
19
15
14
14
15
14
15
15
14
15
16
16
15
15
15

ITEM 2

ITEM 3

ECONOMIA DE

VALOR

ESCALA
AGREGADO
14
16
22
21
14
15
14
16
19
19
16
16
15
16
14
14
19
20
18
20
19
20
17
18
14
15
18
17
14
15
20
21
16
16
15
15
14
15
14
15
15
14
14
14
16
15
14
15
15
16
14
16
15
15
16
15
Dr. Isac Espinoza Montes
14
16
13
15

ITEM 4
SUMATORIA DE
COMPETITIVIDAD
15
20
14
15
19
16
15
14
20
19
19
17
14
17
14
20
15
14
14
14
14
14
15
14
15
15
15
16
15
15

ITEMS
60
82
58
60
75
63
60
55
79
76
76
68
57
69
57
80
62
58
57
58
57
57
61
57
61
61
61
62
60
58