VERIFICACION DE METODOS

D.C. EDUARDO BRAMBILA COLOMBRES Facultad de Ciencias Qumicas Benemrita Universidad Autnoma de Puebla

TAREAS DEL PROFESIONAL DEL LABORATORIO CLINICO

Introducir nuevos mtodos al trabajo del

laboratorio Elegir el mtodo mas apropiado Evaluar el mtodo bajo las condiciones del laboratorio Establecer un control de calidad permanente Determinar los limites de referencia en el laboratorio Transferir el mtodo al trabajo de rutina

Paciente ??? Diagnstico Tratamiento Orden

? ?

Interpretacin

Recoleccin

Anlisis

Transporte

Ejecucin de un proceso analtico en el laboratorio clnico

La calidad es obtenida por un proceso de trabajo

Planeado cuidadosamente Operado adecuadamente Optimamente controlado Medido apropiadamente Mejorado continuamente

Estndares De Calidad

ADMINISTRACIN ADECUADA DE LA CALIDAD

Estndares de Calidad
En trminos analticos Solucin estndar. Empleada para calibracin o evaluar
un proceso, y representa pureza, veracidad.

En trminos administrativos Provee una forma consistente de hacer las cosas

Proceso estndar de pruebas Proceso estndar de validacin de mtodos Estndar de calidad. Criterio que describe el nivel aceptable de alguna caracterstica

Tiempo de reporte de resultados Que tan cercanos estn los resultados del valor verdadero

Proceso Estndar para el Manejo Total de la Calidad

C
Mejoramiento de la

Planeacin De la

C C

C Estndares

Cen el laboratorio C
Control de

Procesos

Evaluacin de la

Procesos de Calidad en el Laboratorio

Determinan el

trabajo en el laboratorio

Polticas Procedimientos Estndares del personal Recursos fsicos

Manuales de Laboratorio Describen los procesos de operacin

Control de Calidad
Procedimientos para

monitorear el proceso de anlisis

Deteccin y correccin de problemas antes de liberar el producto (resultado)

Control de Calidad

Estadstico

Evaluacin de la Calidad
Monitoreo de la totalidad

de las caractersticas del proceso que permitan satisfacer las necesidades del usuario, p.e.
Tiempo de entrega del resultado Preparacin del paciente Obtencin del especimen Etc.

Mejoramiento de la Calidad
Determina las causas

o problemas identificados por el CC o EC

Problemas identificados

Analistas Individuales Equpo de Analistas Herramientas (Cartas de flujo, Diagramas de Pareto, Diagramas causa-efecto, etc)

Planeacin de la Calidad
Establecimiento y

validacin de los procesos encaminadas a las necesidades de los usuarios

Seleccin y evaluacin de nuevos mtodos e instrumentos Seleccin y diseo de los procedimientos de control de calidad

Objetivos de la Calidad
Requerimientos que deben ser logrados

para satisfacer las necesidades de los usuarios

Calidad Analtica Producir resultados que sean correctos dentro de ciertos limites establecidos

Seleccin de la Prueba diagnstica Seleccin del mtodo Validacin del mtodo Implementacin Del mtodo Especmenes Ejecucin de las pruebas

Proceso para establecer un mtodo de rutina VALIDACION VERIFICACION Mejoras al mtodo

Mantenimiento del mtodo Prevencion de problemas

Monitoreo CC estadstico

Resultados

Proceso de anlisis en el laboratorio de rutina

DEFINICIONES DE ACUERDO A LA NORMATIVA ISO 15189

VERIFICACION. Confirmacin a travs de la

obtencin de evidencia objetiva que los requerimientos especificados han sido completamente satisfechos VALIDACION. Confirmacin a travs de la obtencin de evidencia objetiva, que los requerimientos para un uso pretendido o aplicacin han sido completamente satisfechos

Cules son los criterios para introducir un mtodo al trabajo de rutina en un laboratorio?

Objetivo de la VALIDACION DE METODOS

El proceso de evaluacin de mtodos tiene como objetivo EVALUAR LA MAGNITUD DEL ERROR DEL MTODO
Determinar

si la magnitud del error del mtodo afecta la interpretacin de los resultados y el diagnstico dado a los pacientes

Errores analticos de los mtodos

Errores al azar

Son errores que afectan los resultados tanto positivacomo negativamente. La direccin y la magnitud del error no puede ser predicha Los errores al azar se agrupan como una distribucin normal que resulta cuando se realiza una serie de determinaciones en un mismo especimen Los determinacin de los errores al azar son una medida de IMPRECISIN

Errores analticos de los mtodos

Imprecisin
Es usualmente cuantificada mediante la desviacin estndar (s) La s incrementa con la concentracin, por lo que es til calcular el coeficiente de variacin (CV) El tamao del error al azar es expresado como 2s o 3s, lo que ayuda a conocer la magnitud del error presente

Valor medio

Error al azar

Errores analticos de los mtodos

Error sistemtico
Son errores que que afectan los resultados en una direccin, ya sea positiva- o negativamente, por lo que causan que los resultados sean elevados o bajos Los errores sitemticos son una medida de INEXACTITUD

Valor correcto o verdadero

Valor medio

Error sistemtico

Errores analticos de los mtodos

Error Total
Es el efecto neto o combinado del error al azar y el error sistemtico Debido a que los laboratorios realizan una sola medida por analto, el resultado puede estar en la regin del error comprendido entre la: media+/-2 3s

Valor correcto o verdadero

Valor medio

E. Sistemtico E. al azar Error Total

EXPERIMENTOS EMPLEADOS EN LOS PROTOCOLOS DE VALIDACION DE METODOS

LINEALIDAD. Determina el intervalo reportable REPLICACION. Estima la imprecisin o errores al azar COMPARACION DE METODOS. Estima la inexactitud

o error sistemtico INTERFERENCIA Y RECOBRO. Determinan los errores constantes y proporcionales (especificidad analtica) LIMITE DE DETECCION. Caracteriza la sensibilidad analtica SI EL DESEMPEO DEL METODO SE JUZGA ACEPTABLE: Se verifican los LIMITES DE REFERENCIA

REGLAS FINALES CLIA

Enero 24 de 2003 Todos los mtodos de moderada a alta

complejidad deben ser validados antes de ser introducidos al trabajo de rutina.

Mtodos No Modificados
Validacin en sus caractersticas de

ejecucin:

Exactitud Precisin Intervalo

Reportable (Linealidad) Verificacin de los limites de referencia

Mtodos No Modificados
Validacin en sus caractersticas de

ejecucin:

Exactitud Precisin Intervalo

Reportable (Linealidad) Verificacin de los limites de referencia

Mtodos Modificados o Desarrollados en el Laboratorio

Validacin en sus caractersticas de ejecucin: Exactitud Precisin Sensibilidad Analtica Especificidad Analtica Intervalo Reportable (Linealidad) Intervalos de Referencia Cualquier otra caracterstica de desempeo del mtodo. Validacin en sus caractersticas de ejecucin

?
Que estndares de calidad debemos emplear para determinar si la magnitud del error del mtodo es lo suficientemente grande para afectar la interpretacin de los resultados?

Requerimientos mdicos
La decisin de aceptar o

rechazar un mtodo candidato para su introduccin a rutina depende de los requerimientos del usuario final El error del mtodo es excesivo si tiene efecto en los resultados finales y puede producir un diagnstico incorrecto

???

DIAGNSTICO

Concentraciones de nivel de decisin mdica

Son los niveles de concentracin a los

cuales existe la mayor probabilidad de cometer un error diagnstico.

12 g/dL 16 g/dL

Lmites de Referencia para Hemoglobina

Estndares de ejecucin
Para cada concentracin a un nivel de

decisin mdica (Xc) se han formulado estndares de ejecucin: Error permitido (Ep)
La validacin de los mtodos determina el error de los mtodos a un nivel de decisin mdica y los resultados se comparan con el error permitido para cada mtodo en particular

ERRORES PERMITIDOS RECOMENDADOS

ANALITO NIVEL DE DECISIN BARNET TONKS

ALBMINA BICARBONATO BILIRRUBINA CALCIO CLORUROS COLESTEROL CREATININA GLOBULINAS GLUCOSA pH PCO2

35 g/L 20 mmol/L 30 mmol/L 10 mg/L 200 mg/L 85 mg/L 100 mg/L 90 mmol/L 100 mmol/L 2500 mg/L 20 mg/L 35 mg/L 500 mg/L 1200 mg/L 7.35 7.45 35 mm Hg 50 mm/Hg

5 2 2 4 30 6 5 4 4 400 3 5 100 100 0.008 0.012 6 6

2 60 4 5.5 1.8 2.2 250 2 5 120 200 -

ERRORES PERMITIDOS RECOMENDADOS

PO2 FSFORO POTASIO PROTENAS TOT. SODIO TRIGLICRIDOS BUN CIDO RICO ENZIMAS FOSFATASA CIDA FOSFATASA ALCALINA AMILASA LACTATO DESHIDROGENASA ASPARTATO AMINO TRANSFERASA 80 mm/Hg 45 mg/L 3 mmol/L 6 mmol/L 70 g/L 130 mmol/L 150 mmol/L 1600 mg/L 270 mg/L 60 mg/L 10 4 0.5 0.5 6 4 4 300 40 10 4.5 0.26 0.59 4.9 2.3 2.7 27 6

NIVEL DE DECISIN 20% 20% 20% 20% 10%

Hematologa Clia `88

Prueba o Analito
Identificacin celular Cuenta Diferencial

Error Permitido

90% o ms de la identificacin Valor Blanco 3SD basado el porcentaje de Leucocitos Cuenta de Eritrocitos Valor Blanco 6% Hematocrito Valor Blanco 6% Hemoglobina Valor Blanco 7% Cuenta de Leucocitos Valor Blanco 15% Cuenta de Plaquetas Valor Blanco 25% Fibringeno Valor Blanco 20% Tiempo Parcial de Tromboplastina Valor Blanco 15% Tiempo de Protrombina Valor Blanco 15%

ESPECIFICACIONES DE CALIDAD

En Abril de 1999 la IUPAC, la IFCC y la WHO, convocaron a la discucin de las estrategias para determinar las especificaciones de calidad en los laboratorios clnicos. El consenso fue publicado en : Scandinavian Journal of Clinical and Laboratory Investigation

CATEGORIA

ESTRATEGIA

SUBCLASES

Valoracion del Efecto del Desempeo Analitico sobre una Decision Clinica Especifica

Especificaciones de calidad en situaciones clinicas especificas A. Especificaciones Generales de Calidad basados en Variabilidad Biolgica B. Especificaciones Generales de Calidad basadas en opiniones medicas A. Guias de Grupos de Expertos Nacionales o Internacionales B. Guias de expertos individuales o Grupos Institucionales A. Especificaciones de calidad determinadas por Regulaciones B. Especificaciones de calidad determinadas por organizadores de EQAS A. Datos Publicados de PT o EQAS B. Datos de Metodologias Individuales Publicadas

Valoracion del efecto del Desempeo Analitico sobre una Decision Clinica General

Recomendaciones profesionales

Especificaciones de calidad determinadas por Regulaciones o por Organizadores de EQAS

Datos Publicados sobre el estado del arte

Secuencia para la seleccin de un mtodo

Definicin de los Requerimientos -Aplicacin -Metodolgicas -Ejecucin

Revisin de la literatura

Seleccin del Mtodo

Validacin de mtodos
Formulando un plan Defina los requerimientos de calidad (Error permitido) Seleccione los experimentos apropiados para revelar los tipos de error analtico Recolecte los datos experimentales necesarios Compare los errores experimentales con los errores permitidos Juzque la aceptabilidad o rechazo

Tipos de errores
Todas las

mediciones presentan un error

E.A. E.C. E.P.

Imprecisin Inexactitud

E. Sistemtico constante E. Sistemtico proporcional

Experimentos para estimar errores analticos

VERIFICACION DE METODOS
Debido a que los laboratorios buscan la

manera de asegurar la calidad al menor costo, ha surgido la pregunta de cuales son los estudios minimos necesarios para satisfacer los requerimientos regulatorios para verificar el desempeo establecido por los productores de reactivos y equipos de laboratorio.

VERIFICACION DE METODOS
CLINICAL LABORATORY STANDARDS

INSTITUTE. EP15 STANDARD. Es una guia que permite a los usuarios demostrar que pueden obtener el mismo desempeo en los mtodos analticos como ha sido establecido por los productores

OBJETIVOS DE LA VERIFICACION DE METODOS

Desarrollar un protocolo que sea

bastante simple para ser aplicado a laboratorios con un amplio intervalo de sofisticacin y recursos Desarrollar un protocolo lo suficientemente riguroso para obtener conclusiones estadsticas vlidas para los estudios de verificacin

 La gua EP15 puede ser usada cuando

un mtodo es inicialmente introducido al trabajo del laboratorio Tambin puede servir de base para verificar el desempeo de un mtodo despus de una accin correctiva en el mtodo

CLSI EP15
Describe tres protocolos especficos

para:

Verificacin

de la precisin Verificacin de la veracidad (bias) usando muestras de pacientes Verificacin de la veracidad (bias) usando materiales de referencia con valores asignados

EXPERIMENTOS EMPLEADOS EN LOS PROTOCOLOS DE VERIFICACION DE METODOS

REPETIBILIDAD. Precisin de medidas suscesivas del

mismo mesurando obtenida bajo las mismas condiciones de medida (anteriormente llamada precisin dentro de la corrida) CONDICIONES DE REPETIBILIDAD. Condiciones en donde los resultados son obtenidos con el mismo mtodo, el mismo material de prueba, en el mismo laboratorio y con el mismo operador en un intervalo de tiempo corto

EXPERIMENTOS EMPLEADOS EN LOS PROTOCOLOS DE VERIFICACION DE METODOS

PRECISION DENTRO DEL LABORATORIO. Precisin

en un tiempo definido, los operadores calibradores y los reactivos pueden variar dentro de las mismas instalaciones y usando el mismo equipo (anteriormente llamada precisin total) VERACIDAD DE LAS MEDICIONES. Proximidad entre el promedio obtenido de un nmero infinito de valores repetidos y un valor de referencia aceptado. La medida de la veracidad es usualmente expresado en trminos de bias.

PROTOCOLO DE PRECISION
Periodo de Familiarizacin Se recomienda emplear un protocolo de Control de

Calidad Los materiales de control deben tener valores cercanos a los niveles de decisin mdica y cercanos a los niveles especificados por el productor en donde realiza sus especificaciones de precisin Si es posible, emplear los mismos materiales que el productor, o muy similares (matriz)

PROTOCOLO DE PRECISION
Analizar una corrida por da con 3 muestras

replicadas a cada una de dos concentraciones por 5 das Si existe algun problema y se tiene que rechazar una corrida (CC), descarte los datos y realice una corrida adicional Incluya las muestras de control empleadas diariamente Las muestras para los experimentos de veracidad pueden ser analizadas en las mismas corridas Calibre el sistema de acuerdo a las especificaciones del productor (calibracin nica o multiples)

Ecuaciones para el clculo de Precisin

D n 2 ( x x ) d di

sr =

d =1 i= 1

Desviacin Estndar dentro de la corrida

D( n 1)
D 2 ( x x ) d d =1

2 sb =

Varianza entre corridas

D 1
n 1 2 2 sr + sb n
Desviacin Estndar dentro del laboratorio

sI =

Ecuaciones para el clculo de Precisin

(( n 1) s + ( n s )) T= 2 2 2 n 1 n ( sb ) 4 ( ) sr + ( ) D D 1
2 r 2 b 2

D = Numero total de das n = Numero de replicados por da

x di = Resultado del replicado i para el da d

x d = Promedio de todos los resultados para el da d

x = Promedio de todos los resultados

VERIFICACION DEL DESEMPEO DE LA PRECISION

La guia EP15 recomienda que sea calculado un valor de verificacin para proveer un limite superior para la precisin establecida por el productor. Este valor depende del numero de replicados (n), el numero de das (D), la varianza dentro de la corrida (sr2) y la varianza entre las corridas (sb2). El procedimiento calcula el parmetro T, el cual son los grados de libertad efectivos.

VALOR DE VERIFICACION
Valordeverificacin = sestablecida C
1/ 2

1/ 2

C es determinado a partir de una tabla De puntos de porcentaje seleccionados De una distribucin chi-cuadrada al 5% de falsos rechazos

PROTOCOLO PARA DETERMINACION DE VERACIDAD (con muestras de pacientes)

Mtodo a ser reemplazado

Muestras

Nuevo Mtodo

Las diferencias se atribuyen al mtodo reemplazado Esto es verdadero si el nuevo mtodo es de mejor calidad que el mtodo a se reemplazado

PROTOCOLO RECOMENDADO
Ensayar 20 muestras con concentraciones

que cubran el intervalo reportable del mtodo Ensayar las muestras bajo las condiciones de rutina del laboratorio Mida de 5 a 7 muestras al da en un periodo de 3 a 4 das con los dos sistemas de medicin, de preferencia de manera simultnea (4 h de diferencia mximo)

PROTOCOLO RECOMENDADO
Evale las muestras en conjunto con un

sistema de CC para asegurar la operacin estable de los sistemas de medicin Inspeccione los resultados e identifique resultados discrepantes Calcule la diferencia entre los pares de resultados y grafique la diferencia contra el valor de comparacin

PROTOCOLO RECOMENDADO
Realizar un anlisis estadstico

mediante una prueba t de student para datos pareados y determine la diferencia promedio entre los mtodos Calcule los limites de confidencia o verificacin para comparar el bias observado con las especificaciones del productor.

PROTOCOLO PARA DETERMINACION DE VERACIDAD (con materiales de referencia)

EP15 provee un segundo protocolo para

verificar la veracidad de un mtodo con el empleo de materiales de referencia con valores asignados Los materiales deben ser cuidadosamente seleccionados

Materiales recomendados
Materiales de referencia certificados. Disponibles en el

Instituto Nacioanal de Estndares y Tecnologa US (NIST) Materiales de referencia con valores asignados por programas de competencia de pruebas Materiales del productor con valores asignados Materiales de programas de evaluacin externa de la calidad Materiales de tercera opinin con valores asignados por analisis en diferentes laboratorios

Estndares que preparados con concentraciones conocidas

RECOMENDACION
La guia EP15 que sean seleccionados al

menos 2 materiales que representen concentraciones de niveles de decisin altos y bajos en el intervalo reportable del mtodo
Los materiales deben prepararse de acuerdo

a las direcciones del productor, analizando 2 replicados por corrida en 3 a 5 corridas

COMPARACION ENTRE VALIDACION Y VERIFICACION

METODO LINEALIDAD IMPRECISION Dentro de la corrida Entre corridas INEXACTITUD (VERACIDAD) Interferencia Recobro Sensibilidad Comparacin de mtodos Comparacin con un material de referencia si si si si no no no no si si si si si si VALIDACION si VERIFICACION no

USO PRETENDIDO
VALIDACION. Permite juzgar y aceptar

o no, un mtodo con base a estndares de calidad definidos basados en requerimientos mdicos VERIFICACION. Permite juzgar y aceptar o no un mtodo con base en las especificaciones de los productores de equipos y reactivos

GRACIAS