Evaluacin del Sistema de Medicin

Mediciones por Atributos

Kappa & ICC

6s

 Las tcnicas aprendidas para evaluar el sistema de medicin

hasta ahora han sido basadas en uso de datos continuos.
A veces los datos continuos no son disponibles. Como
evaluamos datos por atributos?

Bueno/Malo
Paso / Fallo
Pasa / No Pasa
Defecto / No Defecto
Alto / Medio / Bajo
Helado / Frio / Tibio / Templado / Caliente / Hirviendo

Asi como con los datos continuos, necesitamos una forma de

juzgar la repetibilidad y reproducibilidad de un sistema de
medicin por atributos, donde las mediciones son
categorizadas naturalmente.

Propsitos Potenciales de un MSE por Atributos

Determinar si los inspectores atrves de los turnos, mquinas,
lineas, etc usan el mismo criterio para discriminar lo bueno de lo
malo
Cuantificar la habilidad de los inspectores o gages (dispositivos)
para repetir adecuadamente sus decisiones de inspeccin
Identificar que tan bien los inspectores/gages miden un patrn
conocido (posiblemente definido por el cliente) para asegurar que no
exista una clasificacin errona:
Que tn seguido los operadores embarcan producto realmente malo
Que tan seguido los operadores no embarcan producto realmente aceptable

Determinar reas donde:

Se necesita entrenamiento
Controles o Procedimientos estan faltando
Los estndares no estan claramente definidos
Ajuste en el gage o correlacin es necesaria

Recordemos: Repetibilidad

total

producto

repetibilidad

reproducibilidad

Repetibilidad: La variacin entre mediciones sucesivas de la misma

parte, misma caracterstica, por la misma persona usando el mismo
instrumento. Tambien conocido como el error de Medir - Rechecar.

Buena Repetibilidad

Pobre Repetibilidad

Muestra Juez 1 Juez 1

Medicin 1 Medicin 2

Muestra

Juez 1
Juez 1
Medicin 1 Medicin 2

1
2
3

S
S
N

S
S
N

4
5

S
N

S
N

5
N
La decisin del Juez es inconsistente

Recordemos: Reproducibilidad

total

producto

repetibilidad

reproducibilidad

Reproducibilidad: La variacin de las mediones hechas por

diferentes personas, mquinas, herramientas, etc. Cuando se
mide la misma caracterstica en la misma parte.
Pobre Reproducibilidad
Buena Reproducibilidad
Muestra

Juez 1
Juez 2
Medicin 1 Medicin 1

Muestra

Juez 1
Juez 2
Medicin 1 Medicin 1

1
2
3
4
5

S
S
N
S
N

S
S
N
N
N

Los dos jueces no estan de acuerdo

Ejercicio de Atributos
Tarea: tiene 60 segundos para documentar el nmero de veces que
la sexta letra del alfabeto aparece en el siguiente texto:

The Necessity of Training Farm Hands for First Class

Farms in the Fatherly Handling of Farm Livestock is
Foremost in the Eyes of Farm Owners. Since the
Forefathers of the Farm Owners Trained the Farm Hands
for First Class Farms in the Fatherly Handling of Farm
Livestock, the Farm Owners Feel they should carry on
with the Family Tradition of Training Farm Hands of First
Class Farmers in the Fatherly Handling of Farm Livestock
Because they Believe it is the Basis of Good Fundamental
Farm Management.

 Existen varias tcnicas de evaluacin de sistemas de

medicin que pueden ser usadas cuando tenemos datos que
estan categorizados naturalmente.
Estudios estandar de Medicin por Atributos (AIAG mtodo corto y largo)
pueden ser apropiados

Hay un nmero de tcnicas ms simples para juzgar la

adecuacin del sistema de medicin por atributos:
Kappa para datos binarios (si/no, pasa/no pasa, falla/no falla)
IntraClass Correlation (ICC) para datos con tres o ms clasificaciones
ordinales

Datos por Atributos - Kappa

Pobservado - Pprobable
Kappa =
1 - Pprobable
La regla general para interpretar Kappa es:
< 0.7 El sistema necesita revisarse
0.7 0.9 Generalmente aceptable, la mejora puede
necesitarse dependiendo de la aplicacion y
el riesgo.
> 0.9 Excelente sistema de medicin

Datos por Atributos Kappa

Suponga que existe un desacuerdo en un departamento en la calidad de las
facturas escritas. Dos jueces son requeridos para evaluar
independientemente diez facturas aleatoriamente seleccionadas de
diferentes dias. Los resultados del estudio se muestran a continuacin:
Factura #
1
2
3
4
5
6
7
8
9
10

Juez 1
Bueno
Bueno
Bueno
Malo
Bueno
Bueno
Bueno
Bueno
Malo
Bueno

20% Malo

Juez 2
Bueno
Malo
Bueno
Malo
Bueno
Bueno
Malo
Malo
Malo
Bueno

50% Malo

Acuerdo?
S
N
S
S
S
S
N
N
S
S

Datos por Atributos - Kappa

La proporcin que los inspectores estan en acuerdo es:
Pobservado = 0.7
Cual es la proporcin esperada a ocurrir probable?
Pprobable = (P Insp1 bueno) (P Insp2 bueno) + (P Insp1 malo)(PInsp2 malo)
Pprobalbe = (.8)(.5) + (.2)(.5) = .5
Kappa compara la proporcin de acuerdo entre inspectores despues de haber
removido el acuerdo probable.
Pobservado - Pprobable
Kappa =
1 - Pprobable
1. Cual sera el valor de Kappa si los inspectores acuerdan en cada parte?
2. Como interpretaras un valor de Kappa igual a cero?
3. Cual sera el valor de Kappa si los inspectores nunca estn de acuerdo?

Datos por atributos - Kappa

La regla general para interpretar Kappa es:
< 0.7 El Sistema necesita revisarse
0.7 0.9 Generalmente aceptable, una mejora puede
necesitarse dependiendo de la aplicacin y riesgo.
> 0.9 Excelente sistema de medicin
Asi que para nuestro ejemplo:

Pobservado - Pprobable
Kappa =
1 - Pprobable
Kappa = ___________.
Basado en el resultado de este estudio de medicin, que acciones
recomienda?

Datos por Atributos Kappa Exercise

1. Su empresa produce documentos que son llenados con
carcteres alfanumricos. Si un documento tiene uno o ms
dgitos, es defectuoso. Su misin es identificar los
documentos defectuosos.
2. En equipos de dos, seleccione una persona para ser el que
colecta los datos; la otra persona es el inspector. La hoja de
coleccin de datos esta localizada en la siguiente pgina.
3. El nmero de documento esta localizado debajo de los 20
documentos. Los documentos sern visibles por 5 segundos
antes de que avancen automticamente. El ejercicio ser
finalizado en 100 segundos.
4. Cambie posiciones y repita el ejercicio
5. Cuando terminen, calculen Kappa como equipo.

Ejercicio-Kappa

Juez 1

Juez 2

Comparacin de Jueces

Acuerdo /
Corrida 1 Corrida 2 Acuerdo / Corrida 1 Corrida 2 Acuerdo /
Juez 1
Juez 2
No dePieza
Desacuerdo?
Desacuerdo?
Desacuerdo?
(P/F)
(P/F)
(P/F)
(P/F)
Corrida 1 Corrida 2

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20

Datos por Atributos Muestreo Kappa

Tamao de muestra
Entre ms mejor
Mida 100 muestras, con 2 inspectores como mnimo, 2 mediciones
Esto nos da 95% de confianza en el Kappa

Seleccin de Partes Muestra

Las partes en el estudio deberan de representar el rango completo de
variacin
Para un nivel mximo de confianza en la estadstica Kappa, quisieramos
tener distribucin 50%-50% entre partes buenas y malas
Una relacin de 30%-70% es aceptable ms alla de ese nivel,
desacuerdos unicos pueden tener un efecto grande en el Kappa

Datos por atibutos - ICC

Cuando los atributos pueden ser representados por tres o mas
categoras que pueden ser acomodados en orden (fila), IntraClass
Correlation (ICC) puede ser utilizada para evaluar el sistema de
medicin.
A diferencia de Kappa, Intra-class Correlation (ICC) no trata los
errores de clasificacin de igual forma, por ejemplo la diferencia
entre siempre y a veces es menor que la diferencia entre siempre
y nunca

KAPPA: SI o NO
IC:
SIEMPRE/A VECES/NUNCA

Al igual que Kappa, los valores de ICC de 0.7 y arriba son

considerados aceptables y 0.9 es considerado excelente. Valores
debajo de 0.7 indican mejoras en el sistema de medicin que son
requeridas.

ICC Acuerdo
Lo que ICC evala es el
nivel de acuerdo entre
calificadores. Pero la
decisin es ahora:
A veces (1)
Siempre (2)
Nunca (3)
El rango esta basado
ahora en una calificacin
relativa de decisiones.
El valor de aceptacin es
mayor a 0.7.

Juez 1
1
2
2
3
2
3
1
1
2
1
2
3
2
3

Juez 2
2
2
2
3
2
3
2
1
2
1
2
3
2
3

Juez 3
1
3
2
3
3
3
1
1
2
1
3
3
2
3

Each Judges ratings

Average of Judges ratings

ICC = 0.795212766
ICC = 0.920944559

Este resultado muestra un

alto nivel de acuerdo.
Esto nos lleva a una
reflexin mas acertada
acerca de la decisin a
tomar acerca de la variacin
en un sistema de medicin
por atributos

Datos por Atributos - ICC

La igualdad de una calificacin individual:
ICC =

MS Parte - MS Insp* Parte

MS Parte + (k - 1)MS Insp* Parte

La calificacin promedio de los inspectores podra ser usada.

En tal caso:
MS Parte - MS Insp*Parte
ICC =
MS Parte
Si se omite la interaccin del modelo la interaccin es
etiquetada como error (MSInsp*Parte = MSError)

Evaluacin del Sistema de Medicin

Datos por Atributos - Intraclass Correlation
Producto

Evaluador 1

Evaluador 2

Evaluador 3

1
2
3
4
5
6
7
8
9
10

Asignacin:
En sus equipos, escoja 3 jueces y clasifiquen cada objeto de acuerdo a la escala
acordada

Calcule el ICC para los siguientes casos:

1. Calificacin de Jueces individuales
2. Calificaciones de Jueces promedio

Interprete el resultado utilizando el mismo criterio utilizado en Kappa y haga

recomendaciones.

Hoja de Clculo para Evaluacin del Sistema de Medicin

ICC_Solver.XLS

Datos por atributos Resumen Kappa & ICC

Cuando el sistema de medicin sea proporcionado en formato
de atributos, existe un nmero de formas para evaluar la
adecuacin del sistema.
La adecuacin del sistema de medicin esta definido por el
siguiente criterio:
< 0.7 Se requiere mejora
0.7 0.9 adecuado
> 0.9 excelente

Cuando los datos por atributos puedan ser representados por

tres o ms categoras que puedan ser acomodadas en orden,
el IntraClass Correlation puede ser utilizada para evaluar el
sistema de medicin.