Minera de Datos

Definicion: Sistema computacional en software o hardware que

busca imitar el procesamiento del cerebro humano.


Para que se utilizan?

Obtener patrones no triviales en problemas de clasificacion y
prediccion numerica.

Aprendizaje dinamico de patrones ya que tiene la capacidad
de incorporar nueva informacion.

Reconocimiento de patrones no lineales, de formas dificiles y
de problemas en dimension grande.
Redes Neuronales
Minera de Datos
Caracteristicas del cerebro humano.

1. Robusto y Tolerante a fallas.

2. Flexible.

3. Maneja informacion imprecisa.

4. Extremadamente paralelo.

5. Capacidad de generalizacion.

6. Pequeno y portatil.
El Cerebro Humano
Minera de Datos
Como procesa el cerebro humano.

El procesamiento del cerebro no se conoce unicamente se puede
entender a nivel estructural y funcional.

Funcional.

La neurona maneja dos estados activa e inerte y su activacion
depende de la cantidad de energia que recibe, si es mayor a un
umbral se activa y produce una descarga de energia.

Extremadamente paralelo ya que su frecuencia es de 10 Hz pero
utiliza un conjunto de 10
10
neuronas con 10
14
conexiones.

El cerebro humano
Minera de Datos
Cada Neurona esta integrada por::

Cuerpo que se denomina soma
Dendritas: filamentos conectados al cuerpo su union con otra
neurona se denomina sinapsis y su funcion es recibir senales.
Axon: Filamento conectado al cuerpo que transmite senales.

Estructura de la Neurona Biologica
Minera de Datos
S
W
W
W
X1
X2
X3
Modelo Matematico
Minera de Datos
S
W
W
W
X1
X2
X3
P
e
s
o
s

S
u
m
a

P
o
n
d
e
r
a
d
a

F
u
n
c
i
o
n

A
c
t
i
v
a
c
i
o
n

I
n
s
t
a
n
c
i
a

Modelo Matematico
Minera de Datos
0.00000
0.10000
0.20000
0.30000
0.40000
0.50000
0.60000
0.70000
0.80000
0.90000
1.00000
Funcion de activacion.


Sigmoidal = 1 / ( 1+e
-x
)
Modelo Matematico
Caracteristicas de la funcion

Sus valores estan acotados entre 0 y 1
Permite fijar el umbral con certeza.
El umbral mas comun es 0.5
La funcion se satura rapidamente.
Derivable y derivable facilmente.
Minera de Datos
S
W
W
W
X1
X2
X3
S
W
W
W
X1
X2
X3
S
W
W
X1
X2
X3
Representacion de la Red Neuronal
Minera de Datos
X1
X2
X3
Arquitectura de la Red Neuronal
C
a
p
a

d
e

e
n
t
r
a
d
a

C
a
p
a

O
c
u
l
t
a

C
a
p
a

S
a
l
i
d
a

Minera de Datos
0
0.2
0.4
0.6
0.8
1
1.2
0 0.2 0.4 0.6 0.8 1 1.2
Clase 1
Clase 2
Como Utilizar la Neurona
(0.144*0.5505) -
(0.188*0.0181) +
(0.000816*1) =
0.0771
1/(1+e
-0.771
) = 0.519
0.519>0.5 1
W1=0.144750
W2 = -0.188793
W3 = 000816
0.5505
0.0181
1.0000
1
x1 x2 Clase
0.5505 0.0181 1
w1 w2 w3
0.144750 -0.188793 0.000816
Neurona
Instancia
Minera de Datos
0
0.2
0.4
0.6
0.8
1
1.2
0 0.2 0.4 0.6 0.8 1 1.2
Clase 1
Clase 2
w1 w2 w3
0.144750 -0.188793 0.000816
x1 x2 Clase
0.5505 0.0181 1
0.3602 0.5530 0
Neurona
Instancia
S
W1=0.144750
W2 = -0.188793
W3 = 000816
0.3602
0.5530
1.0000
?
Como Utilizar la Neurona
Minera de Datos
Aprendizaje
La neurona en terminos de estructura se compone por un vector
de pesos W, la funcion de activacion y el umbral.

La funcion de activacion y el umbral se establecen al inicio del
aprendizaje y normalmente se ocupan la sigmoidal y umbral 0.5

El resto del trabajo es determinar el vector de pesos proceso que
se conoce como entrenamiento o aprendizaje y se realiza
utilizando la regla delta.

Regla Delta.

Busca minimizar el error cuadratico medio.
Realiza aproximaciones utilizando el desenso de gradiente
para determinar la direccion del ajuste.
La dimension del ajuste es definida por el usuario.
Puede caer en minimos locales u osilar.
No garantiza el minimo global pero si una aproximacion real.
Minera de Datos
Aprendizaje
Funcion Error

Error = S(Y
i
S
i
)
2
S = fac ( WX
i
) = fac ( w
1
x
1i
+ ...w
n
x
ni
) = 1 / ( 1+ e
(W1X1i + ...WnXni )
)
Error = S(Y ( 1/(1+ e
(W1

X1i + ...Wn

Xni )
) )
2


Regla Delta

Magnitud del ajuste: a

Direccion: dE/dW = (dE/dS) (dS/dW) = - (Y

S) fac(WX) X
i

DW
i
= a (Y

S) fac(WX) X
i

W
i
new = W
i
old + DW
i

Minera de Datos
Aprendizaje
Regla Delta

DW
i
= a (Y

S) fac(WX) X
i

S = 1/(1 + e
-WX
)

fac (WX) = (d /dWX) 1/(1 + e
-WX
)
fac (WX) = (d /dWX) (1 + e
-WX
)
-1
fac (WX) = (-1) * (1 + e
-WX
)
-2
(e
-WX
) * (-1)
fac (WX) = (1 + e
-WX
)
-2
(e
-WX
) = 1/ ((1 + e
-WX
)
2
*e
WX
)
fac (WX) = 1/ ((1 + 2e
-WX
+ e
-2WX
) *e
WX
)

fac (WX) = 1/ (e
WX
+ 2 + e
-WX
)
Minera de Datos
w1 w2 w3
-0.1 -0.2 -0.3
Neurona Instancia
Aprendizaje
DW = a (Y

S) fac(WX) X
i

Delta = a (Y

S) fac(WX)
DW = Delta * X
i


a = 0.01 ( dato )
WX = ( 0.5505*(-0.1) ) + ( 0.181*(-0.2) ) 0.3 = - 0.3587
S = 1 / ( 1 + e
(-0.3587)
) = 0.41128 S = 0
fac(WX) = 1 / ( e
-0.3587)
+ 2 + e
0.3587
) = 0.2421

Delta = 0.01 * (10) * 0.2421 = 0.0024
W
1
new = W
1
old + (Delta * X
1
) = -0.1+ (0.0024 * 0.5505)= -0.0987
x1 x2 Clase
0.5505 0.0181 1
Minera de Datos
w1 w2 w3
-0.1 -0.2 -0.3
Neurona Instancia
Aprendizaje
Delta = 0.01 * (10) * 0.2421 = 0.0024

W
1
new = W
1
old + (Delta * X
1
) = -0.1 + (0.0024 * 0.5505)= -0.0987
W
2
new = W
2
old + (Delta * X
2
) = -0.2 + (0.0024 * 0.0181)= -0.2000
W
3
new = W
3
old + (Delta ) = -0.3 + (0.0024 )= -0.2976

x1 x2 Clase
0.5505 0.0181 1
Minera de Datos
w1 w2 w3
-0.0987 -0.2 -0.2976
Neurona Instancia
Aprendizaje
a= 0.01 ( dato )

WX = ( 0.3602*(-0.0987) ) + ( 0.5530*(-0.2) ) 0.2976 = -0.4437
S = 1 / ( 1 + e
(-0.4437)
) = 0.39086 S = 0
fac(WX) = 1 / ( e
-0.4437)
+ 2 + e
0.4437
) = 0.2381

Delta = 0.01 * (00) * 0.2381 = 0
W
1
new = W
1
old + (Delta * X
1
) = -0.1 + (0 * 0.3602)= -0.0987
x1 x2 Clase
0.3602 0.5530 0
Minera de Datos
Neurona Instancia
Aprendizaje
Delta = 0.01 * (00) * 0.2381 = 0

W
1
new = W
1
old + (Delta * X
1
) = -0.0987 + (0 * 0.3602)= -0.0987
W
2
new = W
2
old + (Delta * X
2
) = -0.2 + (0 * 0.5530)= -0.2000
W
3
new = W
3
old + (Delta ) = -0.2976 + ( 0 )= -0.2976

w1 w2 w3
-0.0987 -0.2 -0.2976
x1 x2 Clase
0.3602 0.5530 0