Introduccion

de un Clasicador Evaluacion

B.2 Metodos de Evaluacion

Concha Bielza, Pedro Larranaga
Departamento de Inteligencia Articial Universidad Politecnica de Madrid

logo

 Introduccion

de un Clasicador Evaluacion

Indice

Introduccion Introduccion

de Modelos de Clasicacion Supervisada Evaluacion Introduccion de la probabilidad de clasicacion correcta Metodos de estimacion Brier score sensible al coste Evaluacion La curva ROC

logo

 Introduccion

de un Clasicador Evaluacion

Indice

Introduccion Introduccion

de Modelos de Clasicacion Supervisada Evaluacion Introduccion de la probabilidad de clasicacion correcta Metodos de estimacion Brier score sensible al coste Evaluacion La curva ROC

logo

 Introduccion Introduccion

de un Clasicador Evaluacion

OCR

Figura: Reconocimiento de caracteres escritos a mano

logo

 Introduccion Introduccion

de un Clasicador Evaluacion

Bioinformatica

Figura: Estructura secundaria de las proteinas

logo

 Introduccion Introduccion

de un Clasicador Evaluacion

Metereolog a

Figura: Prediciendo el tiempo atmosferico

logo

 Introduccion Introduccion

de un Clasicador Evaluacion

supervisada Clasicacion

(x (1) , c (1) ) (x (2) , c (2) ) ... (x (N ) , c (N ) ) x (N +1)

X1 (1) x1 (2) x1 x1 (N +1) x1

(N )

... ... ... ... ... ...

Xn (1) xn (2) xn xn (N +1) xn

(N )

C c (1) c (2) ... c (N ) ???

logo

 Introduccion

de un Clasicador Evaluacion

Indice

Introduccion Introduccion

de Modelos de Clasicacion Supervisada Evaluacion Introduccion de la probabilidad de clasicacion correcta Metodos de estimacion Brier score sensible al coste Evaluacion La curva ROC

logo

 Introduccion Introduccion

de un Clasicador Evaluacion

Midiendo la bondad de un clasicador

Matriz de confusion C Clase real + a (TP) b (FP) c (FN) d (TN)

CM Clase predicha

+ -

Medidas de merito
Tasa de acierto: Tasa de error:
a+d a+b+c +d c +b a+b+c +d a TP rate a+c d (especidad): b+d TN rate logo

de verdaderos positivos (sensibilidad): Proporcion de verdaderos negativos Proporcion de falsos positivos: Proporcion de falsos Proporcion

b FP rate b+d c negativos: a+ FN rate c

 Introduccion Introduccion

de un Clasicador Evaluacion

Midiendo la bondad de un clasicador

Matriz de confusion C Clase real + a (TP) b (FP) c (FN) d (TN)

CM Clase predicha

+ -

Medidas de merito
Precision:
TP TP +FP

100
1 ]1 Recall

Recall: TP rate
1 1 F-measure: [ 2 ( Precision +

2Recall Precision Recall +Precision

Kappa:

TP +TN E (TP +TN ) TP +TN +FP +FN E (TP +TN ) logo

 Introduccion de la probabilidad de clasicacion correcta de estimacion Metodos

de un Clasicador Evaluacion

Metodo no honesto

1 M = p N

(c (i ) = cM )
i =1

(i )

logo

 Introduccion de la probabilidad de clasicacion correcta de estimacion Metodos

de un Clasicador Evaluacion

entrenamiento y testeo Metodo H de estimacion:

1 M = p N N1

N N1 i =1

(c (N1 +i ) = cM 1

(N +i )

)
logo

 Introduccion de la probabilidad de clasicacion correcta de estimacion Metodos

de un Clasicador Evaluacion

repetidas veces Metodo H de estimacion

M = p

1 B

i p
i =1
logo

 Introduccion de la probabilidad de clasicacion correcta de estimacion Metodos

de un Clasicador Evaluacion

basado en k rodajas Metodo de estimacion

M = p

1 k

i p
i =1
logo

 Introduccion de la probabilidad de clasicacion correcta de estimacion Metodos

de un Clasicador Evaluacion

0, 632 bootstrapping Metodo de estimacion

a = p

1 B

X
B i =1

i ,a p

0 = p

1 B

X
B i =1

i ,0 p
logo

M = p 0,632Bo = (0,368p a + 0,632p 0 ) p

 Introduccion de la probabilidad de clasicacion correcta de estimacion Metodos

de un Clasicador Evaluacion

Consejos de uso

Sobre los distintos metodos Metodo H: utilizarlo con N grande Metodo H repetidas veces: no hay control sobre los casos usados como entrenamiento (testeo) basado en k rodajas (kfold cross Metodo de estimacion insesgada de la probabilidad de validation): estimacion acierto, pero con alta varianza 0,632 booststraping: insesgada en Metodo de estimacion el l mite y con baja varianza

logo

 Introduccion Brier score

de un Clasicador Evaluacion

Brier score

(x (1) , c (1) ) (x (2) , c (2) ) ... (x (N ) , c (N ) ) B=

1 N [(0, 18

X1 (1) x1 (2) x1 x1 1 N
(N ) N

... ... ... ... ...

2

Xn (1) xn (2) xn xn
(N )

C 1 0 ... 1

p(CM = 0|x ) 0, 18 0, 51 ... 0, 55

(i )

p(CM = 1|x ) 0, 82 0, 49 0,45

[p(CM = c |x (i ) ) (c (i ) , cM )]2
i =1 c =1

B=

0)2 + (0, 82 1)2 + (0,51 1)2 + (0,49 0)2 + ... + (0, 55 0)2 + (0,45 1)2 ]
logo

 Introduccion Brier score

de un Clasicador Evaluacion

Brier score

para un clasicador que asigne, Medida de la calibracion probabilidades a posteriori a cada valor para cada patron, de la clase x es 0, se trata de Suponiendo que la clase real del patron distinguir: p(CM = 0|x ) = 0,51 y p(CM = 0|x ) = 0,97

Interesa clasicadores con bajo valor de Brier (bastante seguros en sus predicciones) Para problemas con 2 clases: 0 B 2
logo

 Introduccion sensible al coste Evaluacion

de un Clasicador Evaluacion

Clasicador con menor coste

logo

 Introduccion La curva ROC

de un Clasicador Evaluacion

Receiver Operating Characteristics (ROC) curve

logo

 Introduccion La curva ROC

de un Clasicador Evaluacion

Receiver Operating Characteristics (ROC) curve

Seleccionando el mejor clasicador Si cada punto de la curva ROC representa un clasicador: a la izquierda y mas arriba mejor cuanto mas Si cada punto de la curva ROC corresponde a un umbral seleccionar el clasicador con el que se toma la decision: con mayor area bajo la curva (AUC)

logo

 Introduccion La curva ROC

de un Clasicador Evaluacion

B.2 Metodos de Evaluacion

Concha Bielza, Pedro Larranaga
Departamento de Inteligencia Articial Universidad Politecnica de Madrid

logo