Modelo Clasificación Multiclase

Inteligencia de Negocios
Regresión Logística

Profesor Julio Casanova V.

Facultad de Ingeniería
Universidad Mayor

II Semestre 2016

Inteligencia de Negocios Facultad de Ingeniería Universidad Mayor

Modelo Clasificación Multiclase

Contenido

Modelo
Representación del Modelo
Función de Costo
Descenso del Gradiente

Clasificación Multiclase
Representación
Uno vs. el Resto

Inteligencia de Negocios Facultad de Ingeniería Universidad Mayor

Modelo Clasificación Multiclase

Representación del Modelo

Regresión Logística - Clasificación

Ejemplos de clasificación ...

I Email: ¿Spam/No Spam?

I Transacción Online: ¿Fraudulenta
(Si/No)? y ∈ {0, 1}
I Tumor: ¿Maligno/Benigno?

(Si)1 x x x x

¿Maligno?

(N o)0 x x x x

Tamaño del Tumor

Inteligencia de Negocios Facultad de Ingeniería Universidad Mayor

Modelo Clasificación Multiclase

Representación del Modelo

Regresión Logística - Clasificación

La Regresión Lineal no funciona para la clasificación

(Si)1 x x x x

¿Maligno?

(N o)0 x x x x

Tamaño del Tumor

Si hθ (x) ≥ 0.5, predecir y = 1
Si hθ (x) < 0.5, predecir y = 0
La clasificación puede ser: y = 0 o y = 1
pero con la Regresión Lineal hθ (x) puede ser > 1 o < 0
con la Regresión Logística hacemos que: 0 ≤ hθ (x) ≤ 1

Inteligencia de Negocios Facultad de Ingeniería Universidad Mayor

Modelo Clasificación Multiclase

Representación del Modelo

Regresión Logística
Se quiere 0 ≤ hθ (x) ≤ 1

g(z): Función Sigmoide o Función Logística.

1
1 g(z) =
1+e(−z)

0.5

0 z

Hipótesis Regresión Lineal: Hipótesis Regresión Logística:

hθ (x) = θT x 1
hθ (x) = g(θT x) = T
1+ e(−θ x)

Inteligencia de Negocios Facultad de Ingeniería Universidad Mayor

Modelo Clasificación Multiclase

Representación del Modelo

Regresión Logística
Límite de decisión

x2

Predecir y = 1 si:
3 −3 + x1 + x2 ≥ 0

Predecir y = 0 si:
2
−3 + x1 + x2 < 0

1 hθ (x) = g(θ0 + θ1 x1 + θ2 x2 )
hθ (x) = g(−3 + x1 + x2 )
1 2 3 x1

Inteligencia de Negocios Facultad de Ingeniería Universidad Mayor

Modelo Clasificación Multiclase

Representación del Modelo

Regresión Logística
Límite de decisión no lineales

x2

Predecir y = 1 si:
1 −1 + x21 + x22 ≥ 0

Predecir y = 0 si:
−1 + x21 + x22 < 0
−1 1 x1
hθ (x) = g(θ0 +θ1 x1 +θ2 x2 +θ3 x21 +θ4 x22 )
−1
hθ (x) = g(−1+0·x1 +0·x2 +x21 +x22 )

Inteligencia de Negocios Facultad de Ingeniería Universidad Mayor

Modelo Clasificación Multiclase

Función de Costo

Función de Costo
¿Cómo sería la función de costo para una regresión logística?
(
− log(hθ (x)), si y = 1
Cost(hθ (x), y) =
− log(1 − hθ (x)), si y = 0

Cost
Si y = 1
Cost = 0 si y = 1, hθ (x) = 1

pero cuando hθ (x) → 0, Cost → ∞

Por lo tanto, si hθ (x) = 0, pero

y = 1, se penaliza al algoritmo de
aprendizaje con un costo muy
grande.
0 hθ (x) 1
Inteligencia de Negocios Facultad de Ingeniería Universidad Mayor
Modelo Clasificación Multiclase

Función de Costo

Función de Costo
¿Cómo sería la función de costo para una regresión logística?
(
− log(hθ (x)), si y = 1
Cost(hθ (x), y) =
− log(1 − hθ (x)), si y = 0

Cost
Si y = 0
Cost = 0 si y = 0, hθ (x) = 0

pero cuando hθ (x) → 1, Cost → ∞

Por lo tanto, si hθ (x) = 1, pero

y = 0, se penaliza al algoritmo de
aprendizaje con un costo muy
grande.
0 hθ (x) 1
Inteligencia de Negocios Facultad de Ingeniería Universidad Mayor
Modelo Clasificación Multiclase

Función de Costo

Función de Costo
m
1 X
J(θ) = Cost(hθ (x(i) ), y (i) )
m i=1
(
− log(hθ (x)), si y = 1
Cost(hθ (x), y) =
− log(1 − hθ (x)), si y = 0
Notar que y siempre va a ser 0 o 1.
Cost(hθ (x), y) = −y log(hθ (x)) − (1 − y) log(1 − hθ (x))

La función de costo sería:

m
" #
1 X
J(θ) = − y (i) log(hθ (x(i) )) + (1 − y (i) ) log(1 − hθ (x(i) ))
m i=1

Inteligencia de Negocios Facultad de Ingeniería Universidad Mayor

Modelo Clasificación Multiclase

Función de Costo

Función de Costo
Hipótesis:
1
hθ (x) =
1 + e−θT x
x0 = 1, y ∈ {0, 1}
Parámetros:
θ0 , θ1 , . . . , θn
Función de Costo:
m
" #
1 X
J(θ) = − y (i) log(hθ (x(i) )) + (1 − y (i) ) log(1 − hθ (x(i) ))
m i=1

Objetivo:
min J(θ0 , θ1 , . . . , θn )
θ0 ,θ1 ,...,θn

Inteligencia de Negocios Facultad de Ingeniería Universidad Mayor

Modelo Clasificación Multiclase

Descenso del Gradiente

Descenso del Gradiente

m
" #
1 X
J(θ) = − y (i) log(hθ (x(i) )) + (1 − y (i) ) log(1 − hθ (x(i) ))
m i=1
Se quiere minθ J(θ):

repetir {
∂
θj := θj − α J(θ)
∂θj
(actualizar simultáneamente todos los θj )

}
m
∂ 1 X (i)
J(θ) = (hθ (x(i) ) − y (i) ) · xj
∂θj m i=1
Inteligencia de Negocios Facultad de Ingeniería Universidad Mayor
Modelo Clasificación Multiclase

Descenso del Gradiente

Descenso del Gradiente

m
" #
1 X (i)
J(θ) = − y log(hθ (x(i) )) + (1 − y (i) ) log(1 − hθ (x(i) ))
m
i=1

Se quiere minθ J(θ):

repetir {
m
1 X (i)
θj := θj − α (hθ (x(i) ) − y (i) ) · xj
m
i=1

(actualizar simultáneamente todos los θj )

El algoritmo se ve identico al utilizado para regresión lineal.

Inteligencia de Negocios Facultad de Ingeniería Universidad Mayor

Modelo Clasificación Multiclase

Representación

Clasificación Multiclase

I Carpeta/Etiqueta Email: Trabajo, Amigos, Familia, Hobbies

I Diagrama médico: No enfermo, Frío, Gripe
I Tiempo: Soleado, Nublado, Lluvia, Nieve

Clasificación Binaria Clasificación Multiclase

x2 x2

x1 x1

Inteligencia de Negocios Facultad de Ingeniería Universidad Mayor

Modelo Clasificación Multiclase

Uno vs. el Resto

Uno vs. el Resto

x2

(i)
hθ (x) = P (y = i|x; θ)∀i = 1, 2, 3

x2
x1
x2

x1
x2
x1
Clase 1:
Clase 2:
Clase 3:
Inteligencia de Negocios x1 Universidad Mayor
Facultad de Ingeniería
Modelo Clasificación Multiclase

Uno vs. el Resto

Uno vs. el Resto

(i)
Se debe entrenar un clasificador de regresión logística hθ (x) para
cada clase i y predecir la probabilidad que y = i.

Para un nuevo input x, se debe hacer la predicción tomando la

clase i que lo maximice.
(i)
max hθ (x)
i

Inteligencia de Negocios Facultad de Ingeniería Universidad Mayor

Modelo Clasificación Multiclase

Uno vs. el Resto

Inteligencia de Negocios
Regresión Logística

Profesor Julio Casanova V.

Facultad de Ingeniería
Universidad Mayor

II Semestre 2016

Inteligencia de Negocios Facultad de Ingeniería Universidad Mayor