La misura dellaccordo tra i clinici

Strategia per valutare la riproducibilit di un test diagnostico:

valutare, in un numero di prove ripetute, il grado di accordo (concordanza) dei risultati ottenuti

Prove effettuate dallo stesso clinico sugli stessi pazienti = concordanza intra osservatori Prove effettuate da clinici diversi = concordanza tra osservatori Test diagnostico riproducibile se conduce diversi clinici (o lo stesso clinico nel corso di diverse sedute) alla stessa diagnosi sullo stesso paziente

Fonti della discordanza -esaminatore

Variazione biologica nei sensi Comunica le interpretazioni anzich le osservazioni Schemi classificatori diversi Distorsione da aspettative a priori

Fonti della -esaminato

discordanza

Variazione biologica del

sistema investigato Effetto di farmaci o malattie Alterazioni del ricordo

Fonti della -esame

discordanza

Ambiente distraente

Interazione negativa tra medico e paziente Uso/funzionamento scorretto di strumenti

Due clinici hanno esaminato separatamente 100 mammografie, eseguite per diagnosticare in fase precoce il K della mammella. La tabella riporta i risultati in termini di concordanza/discordanza sullinterpretazione delle mammografie da parte dei due medici:

Clinico B
Assenza di lesioni Sospetto o presenza di lesioni

Clinico A

Assenza di lesioni Sospetto o presenza di lesioni

46 12
58

10 32
42

56 44 100

Quali considerazioni possono essere fatte?

 Una positivit, chiara o dubbia, per la presenza di lesioni cancerose, stata rilevata nel 44% dei casi dal clinico A e nel 42% dal clinico B Qual dunque lACCORDO OSSERVATO?

Accordo osservato
AO =
46 + 32 100

= 0,78 = 78%

Volendo esprimere sinteticamente il grado di accordo tra i 2 clinici nel fare diagnosi, la misura pi semplice la concordanza complessiva osservata sul totale delle osservazioni

 Tale misura non considera per che i 2 clinici potrebbero concordare nella diagnosi per puro effetto del caso!! Quale frequenza di accordo sui giudizi diagnostici ci aspettiamo per effetto del caso?

Clinico B
Assenza di lesioni Sospetto o presenza di X lesioni

Clinico A

Assenza di lesioni Sospetto o presenza di lesioni

46 12
58

10 32
42

56 44 100

Accordo osservato

Clinico B
Assenza di lesioni Sospetto o presenza di lesioni

Clinico A

Assenza di lesioni Sospetto o presenza di lesioni

32,5

Accordo atteso

 La moltiplicazione dei marginali il metodo per calcolare i valori attesi di concordanza per caso, e si basa sullassunto di indipendenza delle probabilit

Otteniamo cos la distribuzione delle diagnosi attese per effetto del caso:
Clinico B
Assenza di lesioni Sospetto o presenza di lesioni

Clinico A

Assenza di lesioni Sospetto o presenza di lesioni

32,5 25,5

23,5 18,5

E possiamo calcolare laccordo atteso per effetto del caso

AA = 32,5 + 18,5 100 = 0,51 = 51%

 Se si considera la concordanza totale = 1, il massimo accordo potenziale ottenibile, non ottenibile dovuto al caso, sar dato da: 1 AA = 1 0,51 = 0,49 Mentre laccordo reale osservato oltre il caso pu essere definito come: AO AA = 0,78 0,51 = 0,27

 Il rapporto tra queste differenze esprime la concordanza oltre il caso, ovvero lindice Kappa: K=
AO - AA 1 - AA

0,78 0,51 1 0,51

= 0,55 = 55%

Schematizzando
0 0,78 Accordo osservato (AO) 0 0,51 Accordo atteso per effetto del caso (AA) 0 0,78-0,51 Accordo reale oltre il caso (ARO) 1 - 0,51 Accordo potenziale non dovuto al caso 1 1 1 Accordo completo

K = concordanza oltre il caso = = (AO-AA)/(1-AA)

Come interpretare il valore di K?

Valori di K 0.00 <0.40 0.40 0.75 >0.75 1.00 Grado di accordo Scarso/Casuale Debole Moderato-Buono Eccellente Perfetto

Esempio
Raffr. Raffreddore

II PEDIATRA
Tonsil. Otite

Totale

61 3 1
65

10 7 3
20

4 5 6
15

75 15 10 100

I PEDIATRA

Tonsillite Otite

Totale

CONCORDANZA COMPLESSIVA? CONCORDANZA ATTESA PER CASO ? CONCORDANZA OLTRE IL CASO ?

CONCORDANZA COMPLESSIVA = 74%

CONCORDANZA COMPLESSIVA = 74% CONCORDANZA ATTESA PER CASO ?

II PEDIATRA
Raffr. Raffreddore Tonsil. Otite

Totale

? ? ?
65 20 15

75 15 10 100

I PEDIATRA

Tonsillite Otite

Totale

Calcoliamo laccordo atteso per effetto del caso

II PEDIATRA
Raffr. Raffreddore Tonsil. Otite

Totale

48,7 3 1,5
65 20 15

75 15 10 100

I PEDIATRA

Tonsillite Otite

Totale

CONCORDANZA COMPLESSIVA = 74% CONCORDANZA ATTESA PER CASO = 53%

CONCORDANZA COMPLESSIVA = 74% CONCORDANZA ATTESA PER CASO = 53% CONCORDANZA OLTRE IL CASO (K) = ?

K=

AO - AA 1 - AA

K=

0,74 0,53 1 0,53

= 44,6%

CONCORDANZA COMPLESSIVA = 74% CONCORDANZA ATTESA PER CASO = 53% CONCORDANZA OLTRE IL CASO = 44,6%

Schematizzando
0 0,74 Accordo osservato (AO) 0 0,53 Accordo atteso per effetto del caso (AA) 0 0,74-0,53 Accordo reale oltre il caso (ARO) 1 - 0,53 Accordo potenziale non dovuto al caso 1 1 1 Accordo completo

K = concordanza oltre il caso = = (AOAA)/(1-AA) = 0,21/0,47 = 0,446 =44,6%

Come interpretare il valore di K?

Valori di K 0.00 <0.40 0.40 0.75 >0.75 1.00 Grado di accordo Scarso/Casuale Debole Moderato-Buono Eccellente Perfetto

Esercizio
Calcolare indice K fra due patologi su una diagnosi di melanoma in situ:
il primo patologo ha diagnosticato 23 melanomi su 100 vetrini che gli sono stati sottoposti il secondo patologo ha invece giudicato come affetti da melanomi 18 casi in 15 casi entrambi i patologi hanno fatto diagnosi di melanoma

Patologo 2 K s K s Patologo 1 K no Totale K no Totale

Costruiamo la tabella

Patologo 1 K s K s Patologo 2 K no 15 8 K no 3 74

Totale 18 82 100

Totale

23

77

Calcoliamo:
Concordanza complessiva Concordanza attesa per caso Concordanza oltre il caso (K) Interpretiamo il valore di K

Calcoliamo:
Concordanza complessiva = (15 + 74) / 100 = 89% Concordanza attesa per caso = (23*18)/100 + (77*82)/100 = 67% Concordanza oltre il caso (K) = (89-67) / (100-67) = 66% Interpretazione di questo valore di K: Accordo da moderato a buono