Redes Neuronales para

Aprendizaje Supervisado
Ingeniería del Conocimiento
Ingeniería de Sistemas
Universidad del Magdalena
Estructura de una Neurona Biológica
Las dendritas se conectan a
miles de otras neuronas.
Cuando se dispara una carga
positiva o negativa las
dendritas las reciben. La fuerza
de todas la cargas recibida se
suman.

Existen alrededor de 10 billones de neuronas

interconectadas.
Las terminales del axón se conectan con otras
neuronas (sinapsis)
 Neuronas Artificiales
Bias
b
x1 w
Activation
1 Induced function
Field Output
x2 w2  v  () y
Input
values
  Summing
function
xm wm
weights

Los tres conceptos claves que se tratan de emular de un sistema nervioso son:
paralelismo, memoria distribuida y adaptabilidad al entorno.
 Elementos de una Neurona Artificial
• Conjunto de entradas xj(t).
• Pesos sinápticos de la neurona i, wij

• Regla de propagación hi(t) = σ( wij, x (t)).

j

Potencial postsináptico.
• Función de activación: ai(t) = fi (ai(t-1), hi(t)).
Estado de activación actual en función de su
estado anterior y su potencial postsináptico.
• Función de salida: Fi(ai(t))
Funciones de Activación
 Modelo Estándar Simple
Salida igual a la
función de activación
Bias
b
x1 w Activation
1 Induced function
Field Output
x2 w2  v  () y
Input
values
  Summing
function Función de
propagación
xm wm suma
weights ponderada

( )= ( − )
 Redes Neuronales Supervisadas
• Perceptron Simple
• Adalina
• Perceptron Multicapas
 Regla de Aprendizaje de Hebb
• Se denomina aprendizaje hebbiano aquella
forma de aprendizaje que involucra una
modificación de los pesos Δwij proporcional al
producto de una entrada j por una salida i de
la neurona.

Δ wij = Ey x i j 0<E<1

wij_new = wij_old + Δwij

 Perceptron Simple
Es un modelo unidireccional
compuesto por dos capas, una
sensorial o de entradas y otra de
salida

n neuronas de entrada
= − ,∀ ,1 ≤ ≤
y m neuronas de salida

Función de activación tipo escalón

Salidas binarias
 Perceptron Simple
• Es capaz de aprender a clasificar correctamente los patrones de un
conjunto de entrenamiento, siempre y cuando las clases sean linealmente
separables.
 1 si w1 x 1  w2 x2  ...  wn xn  
y  f ( x1 , x2 ,..., xn )  
 1 si w1 x1  w2 x2  ...  wn xn  

w1 x1  w2 x2  

w1 x1  w2 x2  

w1 x1  w2 x2  
 Perceptron Simple
• Su regla de aprendizaje esta basada en la regla
de Hebb: (eq. Pg. 53)

wij t    (t )zi t   yi t 
 Algoritmo del Perceptron
Paso 0: Inicialización
Inicializar los pesos sinápticos con números aleatorios del intervalo [-1,1]. Ir al
paso 1 con k=1
Paso 1: (k-ésima iteración)  n1 

Calcular y (k )  H  w j x j (k ) 
 j 1 
Paso 2: Corrección de los pesos sinápticos
Si z(k)  y(k) modificar los pesos sinápticos según la expresión:

w j t  1  w j t    zi t   yi t x j k  , j  1,2,..., n  1

Paso 3: Parada
Si no se han modificado los pesos en las últimas p iteraciones, es decir,
w j (r )  w j (t ), j  1,2,..., n  1, r  t  1,..., t  p
parar. La red se ha estabilizado.

En otro caso, ir al Paso 1 con k=k+1.

 Adaline: ADAptive LInear NEuron
• El perceptrón realiza tareas de clasificación salida binaria
• Si las salidas fueran números reales, estaríamos ante un Problema de
regresión.
• Aproximar una función cualquiera F(x) definida por un conjunto de datos
de entrada y su salida real correspondiente.
• Los ejemplos de entrenamiento son conjuntos de valores:(vector de
entrada, salida real)

• El objetivo es encontrar una funcion F(x) tal que F(xi) = yi (Esto es un

problema de regresion)
 Estructura del Adaline
• Estructura prácticamente idéntica al perceptron, pero de respuesta lineal,
el umbral se convierte en un bias.
• La diferencia mas importante con el perceptron es la regla de aprendizaje

• Frecuentemente no es posible conseguir una salida exacta porque y es una

función lineal, pero se minimiza el error cometido para todos los patrones de
entrenamiento.
Regla de Aprendizaje de la Regla Delta
• Se utiliza el error cuadrático medio para medir
el error de la salida.
• La regla Delta utiliza la diferencia entre la
salida producida para cada patrón (p) y la
deseada:
 Regla de Aprendizaje Delta
• La regla Delta busca el conjunto de pesos que minimiza la función de error
.
• Se hace mediante un proceso iterativo donde se van presentando los
patrones uno a uno y se van modificando los parámetros de la red
mediante la regla del descenso del gradiente
• La idea es realizar un cambio en cada peso proporcional a la derivada del
error, medida en el patrón actual, respecto del peso:
Regla Delta
Algoritmo de Aprendizaje Adaline
Perceptron Multicapas

1
g x  
1  exp 2 x 
Regla de Aprendizaje
M   M   L   
  
yi  g1   wij s j   g1   wij  g 2   t jr xr   
 j 1   j 1   r 1 

1 p M
E   zi k   yi k 
2

2 k 1 i 1

E
wij ( k )     zi k   yi k g1' hi s j k 
wij k 

E E s j k 
t jr    
t jr k  s j k  t jr k 
 Algoritmo
Paso 0: Inicialice los pesos. use valores aleatorios pequeños: wji y tjr
establezca el valor de ᵑ.
Paso 1: Mientras la condición de parada sea falsa realice los pasos 2-9
Paso2: para cada vector de entrenamiento, realice los
pasos 3-8:
Paso3: Establezca las activaciones de entrada.
Paso4: calcule la salida en la capa oculta.
paso5: Calcule el valor de salida en capa de salida (k = 1,…M)
Paso6: Para cada unidad de salida calcule el error (k=1,…M)
y la corrección de los pesos
Paso7: Para la capa oculta propague el error, calcule el error
para cada neurona y la corrección de los pesos
Paso8: Actualice los pesos en la capa de salida y la capa oculta
Paso9: Verifique la condición de parada.