A.Caria, M.Cabiddu, I.Ibba, C.

Cicalò

INCERTEZZA DI MISURA
NELLE PROVE QUALITATIVE
TEST MICROBIOLOGICI PER LA RICERCA DELLE
SOSTANZE INIBENTI NEL LATTE

6° MEETING DEI RESPONSABILI E TECNICI DI LABORATORIO

DEL SETTORE LATTIERO-CASEARIO
MONTEGROTTO TERME 1-2 DICEMBRE 2005
 UNI CEI EN ISO/IEC17025

p.to 5.4.6.2:….in certi casi la natura dei metodi

di prova può escludere il calcolo dell’incertezza di
misura rigoroso e valido dal punto di vista
metrologico e statistico.
In questi casi il laboratorio deve almeno tentare
di identificare tutte le componenti dell’incertezza
e fare una stima ragionevole………
……..
Una stima ragionevole deve essere basata sulla
conoscenza del metodo e sullo scopo della misura
e deve far uso, per esempio, delle esperienze
precedenti e della validazione dei dati.
MONTEGROTTO TERME 1-2 DICEMBRE 2005
 Il metodo della ricerca inibenti è un metodo qualitativo .

REAGENTI: substrato nutritivo contenente spore del microrganismo test,

Bacillus Stearothermophilus var. calidolactis
PROCEDURA:aggiungere una quantità predefinita di latte da analizzare.
Incubare.
LETTURA DEL RISULTATO:
ASSENZA DI SOSTANZE INIBENTI : VIRAGGIO DELL'INDICATORE

crescita del microrganismo test acidificazione del terreno

ESPRESSIONE DEL RISULTATO

Il risultato viene espresso con i segni ++ e - -
Essi indicano rispettivamente la presenza e l’assenza di sostanza inibente in
concentrazione sufficiente ad inibire lo sviluppo del microrganismo test.

“MISURANDO” : CAPACITA’ DI INIBIRE LA CRESCITA ????

MONTEGROTTO TERME 1-2 DICEMBRE 2005

 IL PROBLEMA DELLA DETERMINAZIONE DELL’INCERTEZZA
PER LE PROVE QUALITATIVE, INTRODOTTO DALLA 17025 PUO’
ESSERE DIFFICILMENTE RISOLTO CON L’APPLICAZIONE DEI
.
CONCETTI PER LA VALUTAZIONE DELL’INCERTEZZA CHE SI
UTILIZZANO PER I METODI QUANTITATIVI
(APPROCCIO METROLOGICO, OLISTICO O DI HORWITZ).

MONTEGROTTO TERME 1-2 DICEMBRE 2005

PROCEDIMENTO PER LA STIMA DELL’INCERTEZZA
1. SPECIFICARE IL MISURANDO:
DESCRIVERE IL PROCEDIMENTO ANALITICO

2. IDENTIFICARE LE SORGENTI DI INCERTEZZA

3. PIANIFICARE E CONDURRE STUDI DI VALIDAZIONE

4. SEMPLIFICARE RAGGRUPPANDO LE FONTI PER LE QUALI

VI SONO DATI ESISTENTI

5. QUANTIFICARE IN TERMINI PROBABILISTICI LE

COMPONENTI RAGGRUPPATE

6. TENERE SOTTO CONTROLLO LE FONTI DI INCERTEZZA

7. ESPRIMERE L’INCERTEZZA IN TERMINI PROBABILISTICI

MONTEGROTTO TERME 1-2 DICEMBRE 2005

1. SPECIFICAZIONE DEL MISURANDO
PROCESSO ANALITICO

PREPARAZIONE
DELLA PIASTRA

PREPARAZIONE
DEL CAMPIONE

SEMINA DI 100 µl LATTE

INCUBAZIONE

LETTURA VISIVA E
LETTURA CON
LETTORE OTTICO

RISULTATO

MONTEGROTTO TERME 1-2 DICEMBRE 2005

 2. IDENTIFICARE LE SORGENTI DI INCERTEZZA

DIAGRAMMA CAUSA EFFETTO

CONDIZIONI
MATRICE REAGENTI OPERATORE
OPERATIVE

RISULTATO

MATERIALE TARATURA
DI RIFERIMENTO STRUMENTAZIONE INTERPRETAZIONE

MONTEGROTTO TERME 1-2 DICEMBRE 2005

 MONTEGROTTO TERME 1-2 DICEMBRE 2005
2. IDENTIFICARE LE SORGENTI DI INCERTEZZA

FONTI DI INCERTEZZA PROCESSO ANALITICO

QUALITA’ DEI REAGENTI:

- LOTTO PREPARAZIONE
- CONSERVAZIONE DELLA PIASTRA
- CONDIZIONI DELLA PIASTRA

CONDIZIONI DEL CAMPIONE:

- PH
- CONCENTRAZ. GRASSO, PROT., CELL, CB
PREPARAZIONE
- OMOGENEITÀ DEL CAMPIONE

VOLUME INOCULO
- TARATURA PIPETTA E AUTOCAMPION.
SEMINA DI
-CAPACITÀ OPERATORE
-POS,QUALIFICA 100 µl LATTE

TEMPERATURA
-VARIABILITÀ TEMP./ NON RISP. SPECIF.
-TARATURA SONDA INCUBAZIONE
TEMPO
-MATERIALE DI RIFERIMENTO
-OPERATORE PER I TEMPI DI INCUBAZIONE
CONDIZIONI DEL LOTTO
VALUTAZIONE RISULTATO LETTURA VISIVA
-CAPACITA’ OPERATORE E LETTURA CON
TARATURA LETTORE OTTICO LETTORE OTTICO
-MATERIALE DI RIFERIMENTO
-OPERATORE
 2. IDENTIFICARE LE SORGENTI DI INCERTEZZA
DIAGRAMMA CAUSA EFFETTO

REAGENTI MATRICE VOLUME INOCULO

TARATURA
LOTTO PH PIPETTA/AUTOCAMP

CONSERVAZIONE CONCENTRAZ. DEI VARI

COMPONENTI CAPACITA’ OPERATORE

CONDIZIONI PIASTRA
OMOGENEITA’

RISULTATO
OPERATORE PER
TEMPI DI TARATURA LETTORE
VARIABILITA TEMP.
INCUBAZIONE

CAPACITA’ OPERATORE
MATERIALE
TARATURA SONDA
RIFERIMENTO

INTERPRETAZIONE
TEMPERATURA TEMPO
E VALUTAZIONE

CONDIZIONI OPERATIVE
MONTEGROTTO TERME 1-2 DICEMBRE 2005
 MONTEGROTTO TERME 1-2 DICEMBRE 2005

3. PIANIFICARE E CONDURRE STUDI DI VALIDAZIONE

PIANIFICAZIONE CONDUZIONE

PROVE DI
RIPETIBILITA’
AVVIARE STUDI DI PRECISIONE
PROVE DI
RIPRODUCIBILITA’

PROVE DI SENSIBILITA’
AVVIARE STUDI DI ACCURATEZZA

PROVE DI SPECIFICITA’

PROVE ESEGUITE
AVVIARE STUDI DI ROBUSTEZZA VARIANDO I PARAMETRI
DI INFLUENZA
PROVE ESEGUITE
AVVIARE STUDI DI VALUTAZIONE VARIANDO LE CONCENTRAZIONI
LOD DI ALCUNI ANTIBIOTICI
 3. PIANIFICARE E CONDURRE STUDI DI VALIDAZIONE

ACCORDANZA Ac:
ISO 11290-1:1996/Amd.1:2004(E)
p.to 11.3.1 Definizione
L’accordanza e’ la percentuale di ritrovamento dello stesso
risultato (ad es. entrambi negativi o entrambi positivi) tra due
identiche parti di campione analizzate nello stesso laboratorio, in
condizioni di ripetibilita’ ( es. un operatore che utilizza gli stessi
materiali entro il piu’ breve lasso di tempo)
L’ACCORDANZA E’ QUINDI L’EQUIVALENTE DELLA
RIPETIBILITA’
PER I METODI QUANTITATIVI

CALCOLO
PER CALCOLARE L’ACCORDANZA DAI RISULTATI DI UN TEST
INTERLABORATORIO, LA PROBABILITA’ CHE DUE CAMPIONI DIANO
LO STESSO RISULTATO E’ CALCOLATA PER OGNI LABORATORIO
PARTECIPANTE A TURNO, E LA MEDIA E’ QUINDI CALCOLATA TRA
TUTTI I LABORATORI
MONTEGROTTO TERME 1-2 DICEMBRE 2005
 3. PIANIFICARE E CONDURRE STUDI DI VALIDAZIONE

CONCORDANZA Cc
ISO 11290-1:1996/Amd.1:2004(E)
p.to 11.3.1 Definizione
La concordanza e’ la percentuale di rinvenimento dello stesso
risultato per due identiche parti di un campione analizzate in due
diversi laboratori.
LA CONCORDANZA E’ QUINDI L’EQUIVALENTE DELLA
RIPRODUCIBILITA’
PER I METODI QUANTITATIVI
CALCOLO
PER CALCOLARE LA CONCORDANZA DAI RISULTATI DI UN TEST
INTERLABORATORIO, CIASCUNA OSSERVAZIONE DI OGNI LABORATORIO
PARTECIPANTE E’ CONSIDERATA A TURNO E ACCOPPIATA AI RISULTATI
OTTENUTI PER QUEL PARTICOLARE CAMPIONE DA TUTTI GLI ALTRI
LABORATORI.
LA CONCORDANZA E’ LA PERCENTUALE DI TUTTE LE COPPIE CHE DANNO
LO STESSO RISULTATO SU TUTTE LE POSSIBILI PAIA DI DATI
MONTEGROTTO TERME 1-2 DICEMBRE 2005
 3. PIANIFICARE E CONDURRE STUDI DI VALIDAZIONE
STUDI DI PRECISONE- 1.ACCORDANZA

PIANIFICAZIONE CONDUZIONE

ESEGUIRE PROVE INTRALABORATORIO

E INTERLABORATORIO (RT)

ANALIZZARE DUE ALIQUOTE DELLO STESSO

1. VALUTARE L’ ACCORDANZA CAMPIONE (POSITIVO E/O NEGATIVO)
IN CONDIZIONI DI RIPETIBILITA’

CALCOLARE IL RAPPORTO %
DI RITROVAMENTO DELLO STESSO
RISULTATO PER LE DUE ALIQUOTE

MONTEGROTTO TERME 1-2 DICEMBRE 2005

 3. PIANIFICARE E CONDURRE STUDI DI VALIDAZIONE

STUDI DI PRECISIONE- 2.CONCORDANZA

PIANIFICAZIONE CONDUZIONE

ESEGUIRE PROVE INTRALABORATORIO

E INTERLABORATORIO (RT)

ANALIZZARE DUE ALIQUOTE DELLO STESSO

CAMPIONE (POSITIVO E/O NEGATIVO)
2. VALUTARE LA CONCORDANZA
IN CONDIZIONI DI RIPRODUCIBILITA’

CALCOLARE IL RAPPORTO %
DI RITROVAMENTO
DELLO STESSO RISULTATO
PER LE TUTTE LE COPPIE DI ALIQUOTE

MONTEGROTTO TERME 1-2 DICEMBRE 2005

 3. PIANIFICARE E CONDURRE STUDI DI VALIDAZIONE

ACCURATEZZA
ISO 11290-1:1996/Amd.1:2004(E)

11.2 ACCURATEZZA
11.2.1 DEFINIZIONE
• L’ACCURATEZZA È LA PERCENTUALE DI CAMPIONI
CORRETTAMENTE IDENTIFICATI.

• PER I CAMPIONI POSITIVI, L’ACCURATEZZA È CHIAMATA

SENSIBILITÀ ED È LA PERCENTUALE DEI CAMPIONI
CORRETTAMENTE IDENTIFICATI COME POSITIVI
…..
• PER I CAMPIONI NEGATIVI, L’ACCURATEZZA È CHIAMATA
SPECIFICITÀ ED È LA PERCENTUALE DI CAMPIONI
• IDENTIFICATI CORRETTAMENTE COME NEGATIVI.

MONTEGROTTO TERME 1-2 DICEMBRE 2005

 3. PIANIFICARE E CONDURRE STUDI DI VALIDAZIONE
STUDI DI ACCURATEZZA- 1.SENSIBILITA’

PIANIFICAZIONE CONDUZIONE

ESEGUIRE PROVE INTRALABORATORIO

E INTERLABORATORIO (RT)

1. VALUTARE ANALIZZARE UN CERTO NUMERO DI

LA SENSIBILITA’ CAMPIONI POSITIVI

CALCOLARE IL RAPPORTO %
DEI CAMPIONI IDENTIFICATI
CORRETTAMENTE COME POSITIVI

MONTEGROTTO TERME 1-2 DICEMBRE 2005

3. PIANIFICARE E CONDURRE STUDI DI VALIDAZIONE
STUDI DI ACCURATEZZA- 2.SPECIFICITA’

PIANIFICAZIONE CONDUZIONE

ESEGUIRE PROVE
INTRALABORATORIO
E INTERLABORATORIO (RT)

2.VALUTARE
ANALIZZARE UN CERTO
LA SPECIFICITA’
NUMERO DI
CAMPIONI NEGATIVI

CALCOLARE IL RAPPORTO %
DEI CAMPIONI IDENTIFICATI
CORRETTAMENTE COME NEGATIVI

MONTEGROTTO TERME 1-2 DICEMBRE 2005

3. PIANIFICARE E CONDURRE STUDI DI VALIDAZIONE
STUDI DI ROBUSTEZZA

PIANIFICAZIONE CONDUZIONE

PROVE SPERIMENTALI ESEGUITE

VARIANDO
I PARAMETRI DI INFLUENZA:
DIVERSE CONCENTRAZ. DI
•GRASSO
•PROTEINE
•CARICA BATTERICA
•CELLULE
3.VALUTARE •PH
LA ROBUSTEZZA
ANALISI
DEI DATI DI LETTERATURA

ANALISI
DEI DATI DEI PRODUTTORI
DEI KIT

MONTEGROTTO TERME 1-2 DICEMBRE 2005

3. PIANIFICARE E CONDURRE STUDI DI VALIDAZIONE

STUDI DI VALUTAZIONE LOD

PIANIFICAZIONE CONDUZIONE

PROVE ESEGUITE
VARIANDO LE CONCENTRAZIONI
DI ALCUNI ANTIBIOTICI
( I PIU’ DIFFUSI )

VALUTARE ANALISI DATI DI LETTERATURA

LOD

ANALISI DATI
DEI PRODUTTORI DEI KIT

MONTEGROTTO TERME 1-2 DICEMBRE 2005

3. PIANIFICARE E CONDURRE STUDI DI VALIDAZIONE
DATI RIASSUNTIVI PROVE DI VALIDAZIONE
LATTE OVINO
LOD
TIPO DI MOLECOLA CONCENTRAZIONI LOD LMR
TESTATA TESTATE
In ppb

PENICILLINA 7 livelli da 0,5 a 3,5 3,0 4.0

SULFADIAZINA 7 livelli da 20 a 120 80 100

DIIDROSTREPTO- 7 livelli da 1000 a 4500 4300 200

MICINA

TETRACICLINA 7 livelli da 200 a 800 650 100

VALIDAZIONE IN LATTE DI PECORA ORISTANO 2004

MONTEGROTTO TERME 1-2 DICEMBRE 2005

 4. SEMPLIFICARE RAGGRUPPANDO LE FONTI PER LE QUALI VI
SONO DATI ESISTENTI

DATI DI VALIDAZIONE
ACCORDANZA
ROBUSTEZZA DEL METODO
QUALITA
REAGENTI OMOGENEITA’ PH

CONDIZIONI LOTTO
CONSERV.
OPERATORE
PIASTRA VALUTAZIONE CONDIZIONI CAMPIONE
VOLUME INOCULO RISULTATO

TARATURA CAPACITA’ TARATURA CAPACITA’ CONCENTRAZ. DEI

LETTORE OPERATORE VARI COMPONENTI
PIP./ AUTO. OPERATORE RISULTATO
DI PROVA
TEMPERATURA

VARIAB. TEMPER/NON TAR. SONDA

RISP.SPECIFICHE

TEMPO

OPERATORE
MR

CONCORDANZA ACCURATEZZA LOD

MONTEGROTTO TERME 1-2 DICEMBRE 2005
 3. PIANIFICARE E CONDURRE STUDI DI VALIDAZIONE
DATI RIASSUNTIVI PROVE DI VALIDAZIONE

ROBUSTEZZA

Poiché il laboratorio mantiene sotto controllo i parametri

temperatura e tempo d’incubazione non si è ritenuto necessario
procedere alla loro valutazione .

Per quanto riguarda i parametri pH, grasso, proteine, carica

batterica e cellule valutati nel loro insieme, sono state
condotte prove mediante l’utilizzo di campioni provenienti da 10
diversi animali con latte delle due differenti mungiture
(mattina e sera).
Il test è stato condotto sia sui campioni tal quali che
addizionati con diverse concentrazioni di diversi antibiotici.
La risposta del test è stata uniforme per tutti i casi
considerati.

MONTEGROTTO TERME 1-2 DICEMBRE 2005

 4. SEMPLIFICARE RAGGRUPPANDO LE FONTI
PER LE QUALI VI SONO DATI ESISTENTI

DATI DI VALIDAZIONE
ACCORDANZA
ROBUSTEZZA DEL METODO

RISULTATO
DI PROVA

CONCORDANZA ACCURATEZZA LOD

MONTEGROTTO TERME 1-2 DICEMBRE 2005

 5. QUANTIFICARE IN TERMINI PROBABILISTICI LE
COMPONENTI RAGGRUPPATE DATI RIASSUNTIVI PROVE DI
VALIDAZIONE

FUNZIONE TIPO DI STUDIO NUMERO VALORE

CONDOTTO CAMPIONI OTTENUTO
• RT
ACCORDANZA • PROVE INTRALAB. 100 Ac = 99%

•RT
CONCORDANZA • PROVE INTRALAB. 100 Cc = 99%

SENSIBILITA’ PROVE 100 Se = 99%

INTRALABORATORIO

SPECIFICITA’ PROVE INTRALAB. 100 Sp = 99%

MONTEGROTTO TERME 1-2 DICEMBRE 2005

 7-ESPRIMERE L’INCERTEZZA IN TERMINI PROBABILISTICI

Nei test qualitativi basati su punti decisionali o di cut-off

predeterminati, l’effetto dell’ incertezza può essere una risposta
qualitativa non corretta.

I campioni i cui risultati sono vicini a tali punti sono quelli più a
rischio, e dovranno costituire la base degli studi sull’incertezza
di misura.

In queste situazioni, l’incertezza può essere espressa come:

1. % di accordanza e concordanza

2. Probabilità (%) di riscontro di risultati falsi positivi, falsi

negativi, veri positivi e veri negativi vicino al LOD

MONTEGROTTO TERME 1-2 DICEMBRE 2005

 MONTEGROTTO TERME 1-2 DICEMBRE 2005

6. COME RIDURRE LE FONTI DI VARIABILITA’

COME RIDURRE LE
FONTI DI INCERTEZZA
FONTI DI VARIABILITA’

QUALITA’ DEI REAGENTI:

QUALITA’ DEI REAGENTI:
- CERTIFICAZIONE DEL LOTTO
- LOTTO
- CONSERVAZIONE IN CONDIZIONI CONTROLLATE
- CONSERVAZIONE
- VERIFICA DELLO STATO DI IDRATAZIONE DELLA
- CONDIZIONI DELLA PIASTRA
PIASTRA E DEL LIVELLO DELL’AGAR
-

CONDIZIONI DEL CAMPIONE: CONDIZIONI DEL CAMPIONE:

- PH - VERIFICA RISULTATO IN RELAZIONE AL PH
- CONCENTRAZ. GRASSO, PROT., CELL, CB - VERIFICA RISULT. IN RELAZIONE ALLA CONCENTRAZ
- OMOGENEITÀ -. CORRETTA AGITAZIONE : FORMAZIONE PERSONALE

VOLUME INOCULO VOLUME INOCULO

- TARATURA PIPETTA E AUTOCAMPION. - PROGRAMMI DI TARATURA
CAPACITÀ OPERATORE
CAPACITÀ OPERATORE - MESSA A DISPOSIZIONE DELLE POS, QUALIFICA

TEMPERATURA TEMPERATURA
- VARIABILITÀ TEMP./NON RISP. SPECIFICHE - PROGRAMMI DI TAR. SONDA E MANUT. BAGNOM.
- TARATURA SONDA TEMPO
TEMPO - CERTIFICAZ MR E QUALIFICA PERSONALE.
MATERIALE DI RIFERIMENTO E OPERATORE

VALUTAZIONE RISULTATO CAPACITÀ OPERATORE

•CAPACITA’ OPERATORE - MESSA A DISPOSIZIONE DELLE POS, QUALIFICA,
LETTURA DA PARTE DI DUE OPERATORI
TARATURA LETTORE OTTICO - PROGRAMMI DI TARATURA
 CONSIDERAZIONI E CONCLUSIONI

ANCHE IL GRUPPO DI LAVORO EURACHEM/CITAC PER LO

STUDIO DEI METODI QUALITATIVI, ISTITUITO NEL
2002 E CHE HA INIZIATO I SUOI LAVORI NEL MAGGIO
2003, SEMBRA VOLER INDIVIDUARE COME SOLUZIONE
DEL PROBLEMA
1. LO STUDIO E LA CONOSCENZA DEL METODO AL FINE DI
.
INDIVIDUARE TUTTE LE POSSIBILI FONTI DI
VARIABILITA’ COSI’ DA POTERLE TENERE SOTTO
CONTROLLO CON GLI STRUMENTI DELLA QUALITA’
2. ALMENO LA VALUTAZIONE CORRETTA DEI RISULTATI
“FALSI POSITIVI”E “FALSI NEGATIVI”

MONTEGROTTO TERME 1-2 DICEMBRE 2005

 CONSIDERAZIONI E CONCLUSIONI

EURACHEM NON RITIENE AL MOMENTO NECESSARIO

CHE I REQUISITI GENERALI RELATIVI ALLO STUDIO
. DELL’INCERTEZZA DI MISURA DELLE PROVE
QUALITATIVE DEBBANO ESSERE ESTESI A FORNIRE
INFORMAZIONI ESPRESSE IN TERMINI DI
PROBABILITÀ NEL RAPPORTO DI PROVA .

MONTEGROTTO TERME 1-2 DICEMBRE 2005

 RIFERIMENTI

• Istituto Superiore di Sanità- Quantificazione dell’incertezza nelle misure

analitiche.Seconda Edizione (2000) della Guida EURACHEM/CITAC CG 4-
Rapporti ISTISAN 03/30
• EA-4/10Accreditation for Laboratories Performing Microbiological Testing rev 2
• Adams T.M. : A2LA Guide for the Estimation of Measurement Uncertainty In
Testing luglio 2002-Annex to the A2LA (Policy on Measurement Uncertainty For
Life Sciences Testing Laboratories 02/08/05)
• UNI EN ISO/IEC 17025:1999 Requisiti generali per la competenza dei laboratori
di prova e taratura
• SINAL DT-0002 Guida per la dichiarazione dell'incertezza di misura rev 1
• M.Benedetti, G.Varisco, G.Bolzoni- Valutazione dei limiti di sensibilità metodo
microbiologico per la determinazione delle sostanze inibenti nel latte
• G.Cancedda,I.Ibba, G.Catalano,L.Larsen -Test microbiologici per la ricerca
inibenti-Validazione in latte di pecora -Oristano 2004
• UNI EN ISO 11290-1 aprile 2005 - Metodo orizzontale per la Ricerca e la conta
di Listeria monocytogenes Parte 1: Metodo per la ricerca