Contenido

REDES NEURONALES I

Definiciones.
Referencias histricas.
El modelo biolgico.
El modelo matemtico.
Diferentes esquemas de RNA.
Analoga biolgica artificial.
Clasificacin de las RNA.
Mecanismos de aprendizaje.
Ejemplo de aplicacin.
Referencias bibliogrficas.

T3-1 REDES NEURONALES

RNA - DEFINICIONES

El estudio de las redes neuronales

est fuertemente motivado por la
necesidad de producir modelos
biolgicos para ser utilizados en la
resolucin de problemas.

Son modelos en hardware o en software que

intentan reproducir el comportamiento del
cerebro humano, con el propsito de
resolver problemas.
Es la interconexin en paralelo, de
elementos de procesamiento unitarios,
capaces de resolver problemas, luego de un
proceso de aprendizaje.
2

T3-1 REDES NEURONALES

REFERENCIAS HISTRICAS

1943 - Origen de los modelos conexionistas con la primera idea de

neurona artificial, dada por McCulloch y Pitts.
1949 - Donald Hebb, introduce las hiptesis del modo en que las
neuronas memorizan informacin, basadas en investigaciones
psicofisiolgicas.
1959 - Widrow publica una teora sobre la adaptacin neuronal y un
modelo inspirados en esa teora, el Adaline (Adaptative Linear
Neuron).
1962 - Rosemblatt desarrolla el Perceptrn, un identificador de patrones
pticos binarios y salida binaria, junto con la regla de aprendizaje
delta.
1969 - Minsky y Papert realizan una seria crtica del Perceptrn, revelando serias limitaciones. Se crean serias dudas sobre las capacidades de los modelos conexionistas y decaen las investigaciones.
1977 - Anderson desarrolla modelos de memorias asociativas. conocidos
como brain-state-in-a-box.
1982 - Hopfield elabora un modelo de red consistente en unidades de
proceso interconectadas que alcanzan mnimos energticos.
1984 - Kohonen siguiendo el trabajo de Anderson, desarrolla modelos
de aprendizaje competitivo basados en el principio de inhibicin
lateral.
1987 - Grossberg realiza un importante trabajo terico - matemtico a
travs de sus modelos ART (Adaptative Resonance Theory).
3

T3-1 REDES NEURONALES

El cerebro
humano

EL MODELO BIOLGICO

Sistema de
procesamiento no lineal
y paralelo.
Aproximadamente 1010
neuronas.
Alrededor de 1012
interconexiones.
Las interconexiones se
modifican en funcin al
tiempo.
Los estmulos externos
pueden sensibilizar la
calidad y cantidad de
interconexiones.

T3-1 REDES NEURONALES

EL MODELO BIOLGICO

Cerebro humano y red de neuronas

T3-1 REDES NEURONALES

EL MODELO BIOLGICO

La neurona biolgica

Una neurona tpica recoge seales procedentes de

otras neuronas a travs de un conjunto de delicadas
estructuras
llamadas
dendritas. La
neurona emite
impulsos de
actividad
elctrica a lo
largo de una fibra
larga y delgada
denominada axn,
que se escinde en
millares de
ramificaciones.

T3-1 REDES NEURONALES

EL MODELO BIOLGICO

Las conexiones biolgicas

Las extremidades de estas ramificaciones llegan

hasta las dendritas de otras neuronas y establecen
unas conexiones llamadas sinapsis, en las cuales se
produce una transformacin del impulso elctrico en
un mensaje neuro-qumico, mediante la liberacin de
sustancias llamadas neurotransmisores

T3-1 REDES NEURONALES

EL MODELO MATEMTICO

T3-1 REDES NEURONALES

EL MODELO MATEMTICO

La neurona artificial

Se modelan mediante unidades de proceso. Cada

unidad de proceso se compone de un conjunto de
conexiones de entrada, modificadas por valores de
peso, una funcin de excitacin ( de red), encargada
de computar la entrada total ponderada, un ncleo
central de proceso, encargado de aplicar la funcin
de activacin, y la salida, por donde se transmite el
valor de activacin a otras unidades.

Entradas

x1
x2

w1
w2
Pesos

xn

wn

Bias

f(xi ,wi ) g(f)

Funcin de
activacin

Salida

Funcin de excitacin

T3-1 REDES NEURONALES

EL MODELO MATEMTICO

Funciones internas

wji

xi

f(xi ,wi ) g(f)

escaln

lineal

f j xi .wij j
i 1

signo
cuadrtica

f j xi2 .wij j

rampa

i 1

fj

-2

(x .w )
i

i 1

ij

esfrica
2

sigmoide

10

T3-1 REDES NEURONALES

EL MODELO MATEMTICO

Actividad de neurona aislada

1
0

0,75
2

Entradas X = [1 ; 0 ; 1]
Pesos W = [0,75 ; 2 ; -0,5]

-0,5

1
Funcin de
excitacin

}
}

Funcin de
activacin

Se corresponde
con la neurona
original de
McCulloch-Pitts

S(X . W)

lineal f =

1*0,75+0*2+1*(-0,5) = 0,25

0 si f 0
1 si f > 0

escaln y = g(f) =

=1

Neurona activada o disparada

11

T3-1 REDES NEURONALES

EL MODELO MATEMTICO

Actividad de neurona aislada

1

0,5
2

Entradas X = [1 ; 0 ; 1]
Pesos W = [0,5 ; 2 ; -0,75]

-0,75

1
Funcin de
excitacin

}
}

Funcin de
activacin

lineal f =

Se corresponde
con la neurona
original de
McCulloch-Pitts

(X . W)

1*0,5+0*2+1*(-0,75)
= -0,25

0 si f 0
1 si f > 0

escaln y = g(f) =

Neurona inhibida o bloqueada

=0
12

T3-1 REDES NEURONALES

DIFERENTES ESQUEMAS DE RNA

13

T3-1 REDES NEURONALES

TOPOLOGA DE REDES

Organizacin por capas

Salida

Entrada

Bicapa

Salida

Entrada

Monocapa

Multicapa
Entrada
Capa de
entrada

Capas internas
(ocultas)

Salida

...
...
Capa de
salida

14

T3-1 REDES NEURONALES

TOPOLOGA DE REDES

Seales de salida

Seales de entrada

Seales de salida

Seales de entrada

Conexiones entre neuronas

Conexiones progresivas:
Transmiten la informacin
hacia delante.
Conexiones regresivas:
Transmiten la informacin
hacia atrs, a la entrada o
hacia capas anteriores.

Conexiones laterales:
Transmiten la informacin
entre neuronas de la
misma capa. Permiten
competir.
Conexiones autolazo:
realimentan la informacin
a la entrada de la misma
neurona. Permiten
mantener la salida.
15

T3-1 REDES NEURONALES

PROPIEDADES INTRNSECAS

Aprendizaje inductivo: No se le indican las reglas para dar

una solucin, sino que extrae sus propias reglas a partir

de los ejemplos de aprendizaje.
Generalizacin: Una vez entrenada, se le pueden
presentar a al red datos distintos a los usados durante el
aprendizaje. La respuesta obtenida depender del
parecido de los datos con los ejemplos de entrenamiento
Abstraccin o tolerancia al ruido: Las RNA pueden
procesar correctamente datos incompletos o
distorsionados.
Procesamiento paralelo: las neuronas reales trabajan en
paralelo; las neuronas artificiales simuladas en
computador emplean un paralelismo inherente.
Memoria distribuida: el conocimiento acumulado por la
red se halla distribuido en numerosas conexiones, esto
tiene como consecuencia la tolerancia a fallos: una red
neuronal es capaz de seguir funcionando adecuadamente
a pesar de sufrir lesiones con destruccin de neuronas o
sus conexiones, ya que la informacin se halla distribuida
por toda la red.
16

T3-1 REDES NEURONALES

ANALOGA BIOLGICA ARTIFICIAL

Comparacin entre las neuronas biolgicas

reales y las unidades de proceso artificiales
Redes Neuronales
Biolgicas

Redes Neuronales
Artificiales
Neuronas Unidades de proceso

Conexiones sinpticas Conexiones ponderadas

Efectividad de las sinpsis Peso de las conexiones

Efecto excitatorio o Signo del peso de una

inhibitorio de una conexin conexin
Efecto combinado de las Funcin de propagacin
sinpsis o de red

Activacin tasa de Funcin de activacin

disparo Salida

17

T3-1 REDES NEURONALES

Segn la topologa

CLASIFICACIN

Redes mononeuronales: Utilizan una sola neurona con varias

entradas y una salida. Por ejemplo Perceptrn, Adaline.

Redes monocapa: Las neuronas se organizan en una capa

nica, generalmente conectadas con conexiones laterales o

autorecurrentes. Por ejemplo redes de Kohonen, redes de
Hopfield.

Ref.
Garca Martnez
et al, Sistemas
Inteligentes.

18

T3-1 REDES NEURONALES

CLASIFICACIN

Segn la
topologa
Redes multicapa: Las

neuronas se organizan en
varias capas, con
distintos tipos de
conexiones. Estas
estructuras suelen
utilizarse para realizar
tareas ms complejas.
Por ejemplo redes
feedforward, redes ART.
Ref.
Garca Martnez
et al, Sistemas
Inteligentes.

19

T3-1 REDES NEURONALES

CLASIFICACIN

Segn el tipo de aprendizaje

Redes con aprendizaje supervisado: Existe un parmetro

externo ( tutor) que determina si la respuesta de la RNA

durante el proceso de aprendizaje es correcta. Por
ejemplo redes feedforward/backpropagation.

Ref.
Garca Martnez
et al, Sistemas
Inteligentes.

20

T3-1 REDES NEURONALES

CLASIFICACIN

Segn el tipo
de aprendizaje
Redes con aprendizaje no
supervisado: La RNA no

recibe influencia externa

sobre su comportamiento.
La modificacin de los parmetros responde exclusivamente a las entradas.
Fundamentalmente, bajo
esta categora de aprendizaje la ANN intenta rescatar
propiedades comunes de los
patrones de entrada. Por
ejemplo redes de Hopfield,
redes de Kohonen.
Ref. Garca Martnez et al,
Sistemas Inteligentes.

21

T3-1 REDES NEURONALES

CLASIFICACIN

Segn la relacin entrada-salida

Redes heteroasociativas: Las redes aprenden

pares de datos entrada-salida que se presentan

durante la fase de entrenamiento. En general
presentan una topologa de 2 ms capas. Por
ejemplo redes feedforward/ backpropagation.

Redes autoasociativas: En este tipo de redes,

las entradas se clasifican de acuerdo a los

patrones intrnsecos generados o aprendidos
por la red. Puede implementarse inclusive en
topologas monocapa. Por ejemplo redes ART,
redes de Kohonen.
22

T3-1 REDES NEURONALES

CLASIFICACIN

Segn el tipo de seales de

entrada-salida

Redes continuas: Tanto los valores de entrada

como de salida, son de tipo analgicos y reales,

pudiendo estar normalizados a un intervalo
predefinido. Por ejemplo redes feedforward/
backpropagation, redes de Hopfield (continuas).
Redes discretas: En este tipo de redes, tanto las
entradas como las salidas son discretas y
particularmente binarias. Por ejemplo redes de
Hopfield (discretas, redes ART1.
Redes hbridas: Manejan distintos tipos de
valores entre las entradas y salidas.
Comnmente reciben valores analgicos en las
entradas y responden con valores binarios.
23

T3-1 REDES NEURONALES

CLASIFICACIN

Segn el
tipo de
seales
de
entradasalida

Ref.
Garca Martnez
et al, Sistemas
Inteligentes.

24

T3-1 REDES NEURONALES

CLASIFICACIN

Segn el proceso de
actualizacin
Redes sincrnicas o determinsticas: Son

aquellas donde se calcula la activacin de todas

las unidades de una capa en cada ciclo de
aprendizaje.

Redes asincrnicas o probabilsticas: En este

tipo de redes, cada unidad de proceso tiene una

cierta posibilidad de computar su activacin en
cada ciclo de aprendizaje. Tienen la ventaja de
ser menos propensas a caer en mnimos
locales.
25

T3-1 REDES NEURONALES

PROCESOS DE APRENDIZAJE

El aprendizaje es el proceso
por el cual una red neuronal modifica sus
pesos en respuesta a una informacin de
entrada.

Los cambios que se producen durante el proceso de

aprendizaje se reducen a la destruccin, modificacin y creacin de conexiones entre las neuronas.
La creacin de una nueva conexin implica que el
peso asociado pasa a tener un valor distinto de cero.
Una conexin se destruye cuando su peso pasa a ser
cero. Representa una desconexin virtual en el
modelo.
Se puede afirmar que el proceso de aprendizaje ha
finalizado (la red ha aprendido) cuando los valores
de los pesos permanecen estables (dwij / dt = 0).

26

T3-1 REDES NEURONALES

PROCESOS DE APRENDIZAJE

Aprendizaje supervisado

Se realiza mediante un entrenamiento controlado por un agente

externo (supervisor, maestro) que determina la respuesta que
debera generar la red a partir de una entrada determinada. En el
caso de que la salida no coincida con la deseada, se proceder a
modificar los pesos de las conexiones. Se consideran tres formas
de llevar a cabo este tipo de aprendizaje:
Aprendizaje por correccin de error: Consiste en ajustar los
pesos en funcin de la diferencia entre los valores deseados
y los obtenidos en la salida; es decir, en funcin del error.
Aprendizaje por refuerzo: La funcin del supervisor se reduce a
indicar mediante una seal de refuerzo si la salida obtenida en la
red se ajusta a la deseada (xito = +1 fracaso = -1), y en funcin
de ello se ajustan los pesos basndose en un mecanismo de
probabilidades.
Aprendizaje estocstico: Consiste bsicamente en realizar
cambios aleatorios en los valores de los pesos de las conexiones
de la red y evaluar su efecto a partir del objetivo deseado y de
distribuciones de probabilidad.

27

T3-1 REDES NEURONALES

PROCESOS DE APRENDIZAJE

Aprendizaje supervisado -ESQUEMACapa oculta

Capa de entrada

Capa de salida
np
pesos

pm
pesos

m neuronas

salida
actual

n neuronas
p neuronas
error

salida
deseada

28

T3-1 REDES NEURONALES

PROCESOS DE APRENDIZAJE

Aprendizaje supervisado -ALGORITMO1. Aleatorizar los pesos de todas las conexiones

2.
3.
4.

5.

(preferiblemente con valores pequeos).

Seleccionar un par de entrenamiento.
Presentar el patrn de entrada y calcular la funcin de
excitacin (red), funcin de activacin y transferencia a
la siguiente capa, hasta llegar a la capa de salida.
Calcular el error o discrepancia entre la salida obtenida y
la deseada. El error (funcin objetivo) se suele definir
como la suma de los cuadrados de las diferencias entre
las salidas reales obtenidas y las deseadas, promediado
para todas las unidades de salida y todos los patrones de
entrenamiento. Si todos los ejemplos se han clasificado
correctamente, finalizar, sino continuar.
Aplicar la regla de aprendizaje (ajustar los pesos)
tratando de disminuir el error.

6. Volver al paso 2.

29

T3-1 REDES NEURONALES

PROCESOS DE APRENDIZAJE

Aprendizaje no supervisado

No se requiere influencia externa para ajustar los pesos

entre neuronas. La red no recibe ninguna informacin por
parte del entorno que le indique si la salida generada es o
no correcta. En algunos casos, la salida representa el grado
de familiaridad o similitud entre la informacin que se le
est presentando en la entrada y las que se le han mostrado
en el pasado. En general en este tipo de aprendizaje se
suelen considerar dos tipos:
Aprendizaje Hebbiano: Consiste bsicamente en el ajuste de
los pesos de las conexiones de acuerdo con la correlacin,
as si las dos unidades son activas (positivas), se produce un
reforzamiento de la conexin. Por el contrario cuando un es
activa y la otra pasiva (negativa), se produce un
debilitamiento de la conexin.
Aprendizaje competitivo y cooperativo: Las neuronas compiten (y
cooperan) unas con otras con el fin de llevar a cabo una tarea
dada . Cuando se presenta a la red cierta informacin de entrada,
solo una de las neuronas de salida se activa. Por tanto las
neuronas compiten por activarse, quedando finalmente una,
30
como neurona vencedora

T3-1 REDES NEURONALES

EJEMPLO DE RED NEURONAL

Feed-Forward Backpropagation
Capa intermedia
15 neuronas log-sig

Capa de salida
1 neurona tan-sig

Variable de
salida

Variables de
entrada

Capa de entrada
5 entradas

(Recurrente)

Realimentacin de la salida
con retardo de 1 muestra

31

T3-1 REDES NEURONALES

RNA EJEMPLO
EjemploDE
deRED
redNEURONAL
neuronal

Feed-forward Backpropagation

(Recurrente)

Sistema de
deteccin de fallas
en un
tanque hidrulico

Prueba de deteccin
de componentes
principales por
anulacin de entradas

32

T3-1 REDES NEURONALES

RNA APLICACIONES
Aplicaciones

Modelado de procesos lineales y no lineales.

Control de procesos y equipos.
Reconocimiento de patrones.
Asociacin de datos.

Deteccin de trayectorias.
Prediccin de series temporales.
Reconocimiento ptico de caracteres.

Aproximacin de funciones de cualquier tipo.

33

T3-1 REDES NEURONALES

REFERENCIAS

Del Brio, B.M. Sanz Molina, A. REDES

NEURONALES Y SISTEMAS BORROSOS.
Editorial RA-MA.
Hilera Gonzalez, J.R. Martnez Hernando,
B.J. REDES NEURONALES ARTIFICIALES.
Editorial RA-MA. 1995.
Isasi Viuela P., Galvn Len L. M. REDES
DE NEURONAS ARTIFICIALES Un Enfoque
Prctico. Ed. Pearson Educacin, Madrid,
2004.

34