cercanos B.

3 Vecinos mas
Concha Bielza, Pedro Larranaga Departamento de Inteligencia Articial Universidad Politecnica de Madrid

cercanos p. 1/1 B.3 Vecinos mas

Introduccin

K-NN (K-Nearest Neighbour) Un nuevo caso se va a clasicar en la clase ms frecuente a la que pertenecen sus K vecinos ms cercanos Idea muy simple e intuitiva Fcil implementacin No hay modelo explcito Case Based Reasoning (CBR)

cercanos p. 2/1 B.3 Vecinos mas

Introduccin
X1 (x1 , c1 ) (xi , ci ) (xN , cN ) x 1
. . . ... ...

Xj x 1j
. . .

... ...

Xn x 1n
. . .

C c1
. . .

x11
. . .

i
. . .

xi1
. . .

...

xij
. . .

...

xin
. . .

ci
. . .

xN 1

... ...

xN j xN +1,j

... ...

xN n xN +1,n

cN
?

N + 1 xN +1,1

Notacin para el paradigma K-NN

cercanos p. 3/1 B.3 Vecinos mas

El algoritmo K-NN bsico

COMIENZO Entrada: D = {(x1 , c1 ), . . . , (xN , cN )} x = (x1 , . . . , xn ) nuevo caso a clasificar PARA todo objeto ya clasificado (xi , ci ) calcular di = d(xi , x) Ordenar di (i = 1, . . . , N ) en orden ascendente K ya clasificados Quedarnos con los K casos Dx m as cercanos a x K Asignar a x la clase m as frecuente en Dx FIN
Pseudocdigo para el clasicador K-NN

cercanos p. 4/1 B.3 Vecinos mas

El algoritmo K-NN bsico

Ejemplo de aplicacin del algoritmo K-NN bsico

cercanos p. 5/1 B.3 Vecinos mas

El algoritmo K-NN bsico

Ejemplo de la no monotocidad del porcentaje de bien clasicados en funcin de K

cercanos p. 6/1 B.3 Vecinos mas

Variantes del algoritmo K-NN bsico

K-NN con rechazo K-NN con distancia media K-NN con distancia mnima K-NN con pesado de vecinos K-NN con pesado de variables

cercanos p. 7/1 B.3 Vecinos mas

K-NN con rechazo

Para clasicar un caso exigo ciertas garantas Si no las tengo puedo dejar el caso sin clasicar Umbral prejado Mayora absoluta

cercanos p. 8/1 B.3 Vecinos mas

K-NN con distancia media

Ejemplo de ilustracin del K-NN con distancia media

cercanos p. 9/1 B.3 Vecinos mas

K-NN con distancia mnima

Seleccionar un caso por clase (ej. el ms cercano al baricentro de la clase) Reduccin de la dimensin del chero almacenado de N a m Ejecutar un 1-NN a dicho chero reducido Efectividad condicionada a la homogeneidad dentro de las clases. A mayor homogeneidad ms efectivo

cercanos p. 10/1 B.3 Vecinos mas

K-NN con pesado de vecinos

Ejemplo de ilustracin del K-NN con pesado de casos seleccionados

cercanos p. 11/1 B.3 Vecinos mas

K-NN con pesado de vecinos

d(xi , x) wi 2 0,5 2 0,5 2 0,5 2 0,5 0,7 1/0,7 0,8 1/0,8

x1 x2 x3 x4 x5 x6

Peso a asignar a cada uno de los 6 objetos seleccionados

cercanos p. 12/1 B.3 Vecinos mas

K-NN con pesado de variables

Mismo peso a todas las variables:
n

d(x, xr ) =
j =1

(xj xrj )2

Distinto peso a cada variable:

n

d(x, xr ) =
j =1

wj (xj xrj )2

Determinar wj a partir de I (Xj , C ) la cantidad de

infomacin mutua entre Xj y C

cercanos p. 13/1 B.3 Vecinos mas

K-NN con pesado de variables

X1 0 0 0 1 1 1 0 0 0 1 1 1 X2 0 0 0 0 0 1 1 1 1 1 1 0 C 1 1 1 1 1 1 0 0 0 0 0 0

La variable X1 no es relevante para C , mientras que la variables X2 si lo es

cercanos p. 14/1 B.3 Vecinos mas

K-NN con pesado de variables

p(X1 ,C ) (0, 0) p(X1 ,C ) (0, 1) +p(X1 ,C ) (0, 1) log + I (X1 , C ) = p(X1 ,C ) (0, 0) log pX1 (0) pC (0) pX1 (0) pC (1) p(X1 ,C ) (1, 0) p(X1 ,C ) (1, 1) + p(X1 ,C ) (1, 1) log = p(X1 ,C ) (1, 0) log pX1 (1) pC (0) pX1 (1) pC (1)
3 3 3 3 3 3 3 3 12 12 12 12 log 6 6 + log 6 6 + log 6 6 + log 6 6 = 0 12 12 12 12 12 12 12 12 12 12 12 12

I (X2 , C ) = p(X2 ,C ) (0, 0) log

p(X2 ,C ) (0, 0) p(X2 ,C ) (0, 1) +p(X2 ,C ) (0, 1) log + pX2 (0) pC (0) pX2 (0) pC (1)

p(X2 ,C ) (1, 0) p(X2 ,C ) (1, 1) + p(X2 ,C ) (1, 1) log = p(X2 ,C ) (1, 0) log pX2 (1) pC (0) pX2 (1) pC (1)
1 5 5 1 1 5 5 1 log 6 12 6 + log 6 12 6 + log 6 12 6 + log 6 12 6 12 12 12 12 12 12 12 12 12 12 12 12

cercanos p. 15/1 B.3 Vecinos mas

Seleccin de prototipos
Edicin de Wilson Condensacin de Hart

cercanos p. 16/1 B.3 Vecinos mas

Edicin de Wilson
Someter a prueba a cada uno de los elementos del

chero de casos inicial

Para cada caso se compara su clase verdadera con la

que propone un clasicador K-NN obtenido con todos los casos excepto el mismo
Si ambas clases no coincidan, el caso es eliminado Edicin de Wilson repetitiva parando el procedimiento

cuando en 2 selecciones sucesivas no se produzcan cambios

cercanos p. 17/1 B.3 Vecinos mas

Condensacin de Hart
Para cada caso, y siguiendo el orden en el que se

encuentran almacenados los casos en el chero, se construye un clasicador K-NN con tan slo los casos anteriores al caso en cuestin
Si el caso tiene un valor de la clase distinto al que le

asignara el clasicador K-NN, el caso es seleccionado

Si por el contrario la clase verdadera del caso coincide

con la propuesta por el clasicador K-NN, el caso no se selecciona

El mtodo es dependiente del orden en que se

encuentren almacenados los casos en el chero

cercanos p. 18/1 B.3 Vecinos mas