Redes Neuronales Artificiales

Arquitecturas y Aprendizaje
Profesor:
Eduardo Caicedo Bravo Ph.D.
eduardo.caicedo@correounivalle.edu.co
Contenido
Introduccin
Redes Monocapa
Redes Multicapa
Redes Feedforward
Redes Recurrentes
Aprendizaje en las Redes Neuronales
Aprendizaje Supervisado
Aprendizaje No-Supervisado
Aprendizaje por Correccin de Error
Aprendizaje basado en Memoria
Aprendizaje de Hebb
Aprendizaje Competitivo





Introduccin
La arquitectura de una red neuronal artificial es la forma
como se organizan las neuronas en su interior y est
estrechamente ligada al algoritmo de aprendizaje usado
para entrenar la red.

Dependiendo del nmero de capas:
Redes Monocapa
Redes Multicapa

Dependiendo de cmo fluye la informacin:
Redes Feedforward
Redes Recurrentes.

Redes Monocapa
Primer Nivel asociado al vector de entrada.
No hay procesamiento de estos datos, por
esta razn no se considera formalmente como
una capa.
Este primer nivel tiene la misma dimensin
del vector de entrada, la informacin entra al
mismo nivel y los datos son transferidos al
siguiente nivel, modificados por los pesos
sinpticos.
Como las neuronas de este nivel reciben el
mismo tipo de informacin lo denominamos
capa y como a su vez corresponde a la salida
de la red, la llamaremos Capa de Salida.
Notemos que en esta arquitectura solo
disponemos de una capa de procesamiento, de
ah su nombre arquitectura monocapa.
Observemos que hay conectividad total entre
el nivel de entrada y la capa de salida
Redes Multicapa
La red tiene un nivel de entrada con n
neuronas y una capa de salida de m
neuronas

La red incluye una capa intermedia,
denominada Capa Oculta, que est
conformada por h neuronas

Por qu el nombre de oculta?

Como en el caso anterior, la informacin
fluye en nica direccin

En este ejemplo, presentamos una nica
capa oculta, pero una red puede tener ms
de una capa intermedia.
Redes Feedforward
En este tipo de red neuronal artificial la
informacin fluye en un nico sentido
desde las neuronas de entrada a la
capa o capas de procesamiento, para
los casos de redes monocapa y
multicapa, respectivamente; hasta
llegar a la capa de salida de la red
neuronal.
Redes Recurrentes
La informacin no siempre fluye en un sentido, puesto que puede realimentarse
hacia capas anteriores a travs de conexiones sinpticas
Monocapa Multicapa
Aprendizaje en las RNA
Qu es el aprendizaje para los seres vivos?
(Clase, experiencia, estmulos)

Qu es aprendizaje para la RNA?
Habilidad de la red para aprender del ambiente y
mejorar su performance a travs del aprendizaje
Proceso interactivo que permite ajustar los pesos
sinpticos y los niveles de los bias

Mendel M
c
Clare [1970]
Aprendizaje es un proceso mediante el cual los parmetros libres
de una RNA son adaptados a travs de un proceso de estimulacin
del ambiente en el cual est embebida la red.

Aprendizaje en las RNA

El tipo de aprendizaje est determinado por la forma como
se cambian los parmetros en el proceso

w(t+1) : Valor actualizado del peso sinptico
w(t) : Valor actual del peso sinptico
w(t) : Variacin del peso sinptico
) ( ) ( ) 1 ( t w t w t w A + = +
Aprendizaje Supervisado
y : Salida de la red neuronal artificial
d : Salida deseada
y d error =
Aprendizaje No-Supervisado
Aprendizaje por Correccin de Error
Una o ms
Capas
Ocultas
[x
1


x
i


x
n
]
Neurona
k-sima
X
y
k
(n)
d
k
(n)
RNA
X
y
k
(n)
d
k
(n)
x
k
(n)
e
k
(n)
( ) ( ) ( ) n y n d n e
k k k
=
El propsito es aplicar una secuencia
De correctivos a los pesos sinpticos
Tal que el error tienda a cero
La seal de salida de la neurona debe
Ser muy cercana al valor deseado
( )
( ) n e n
Global Error n
k
2
2
1
) (
:
= c
c
Aprendizaje basado en Memoria
En este tipo de aprendizaje, la mayora de las experiencias
pasadas son almacenadas explcitamente en una
gran memoria.
x
i
: Vector de entrada
d
i
: Respuesta deseada
( ) { }
N
i
i i
d x
1
,
=
Aprendizaje de Hebb
Es una de las ms antiguas y famosas reglas de aprendizaje
propuesta por el Neuropsiclogo Hebb en su libro The
Organization of Behavior [1949]:
Cuando un axn de A est lo suficientemente cerca de B para
excitar una clula B y repetida o persistentemente hace parte
de su disparo, de alguna manera se genera un proceso
metablico, tal que A se convierte en una clula que dispara
eficientemente a B
Hebb propone este cambio como una base del aprendizaje
asociativo:
Si dos neuronas en cada lado de una conexin sinptica son
activadas simultneamente (sincrnicamente), entonces la
intensidad de la sinapsis crece selectivamente.
Si dos neuronas en cada lado de la sinapsis son activadas
asincrnicamente, su sinapsis es debilitada o eliminada
Aprendizaje Competitivo
Mientras que en una RNA basada en aprendizaje
Hebbiano, pueden activarse simultneamente
diferentes neuronas de salida, en aprendizaje
competitivo solamente una neurona se activa al
tiempo.
Esta caracterstica las hace adecuada para extraer
caractersticas relevantes en un clasificador.
Elementos bsicos [Rumelhart 1985]:
Un conjunto de neuronas que responden diferente para
un conjunto dado de patrones
Se impone un lmite en la intensidad de cada neurona
Un mecanismo que les permite a las neuronas competir
Aprendizaje Competitivo
1
2
l
h
x
1

x
2

x
i

x
n

Conexiones feedforward excitatorias
Conexiones laterales inhibitorias
caso otro en
k j j v v si
y
j k
k
= >

=
,
0
1
Considerando el peso sinptico w
kj
,
supongamos que estos valores son
positivos y limitados a:
k w
j
kj
=

1
El cambio en los pesos se ajusta:
( )
perdedora Neurona
ganadora Neurona w x
w
kj j
kj

= A
0
o
Esta regla mueve el vector de pesos
sinpticos w
kj
de la neurona
ganadora k hacia el patrn
de entrada x
PREGUNTAS???