UNIVERSIDAD DE AQUINO BOLIVIA

FACULTAD DE CIENCIA Y TECNOLOGÍA

CARRERA DE INGENIERÍA DE SISTEMAS

REDES NEURALES
RECURRENTES

ELABORADO POR: CARLOS SILES

LA PAZ – BOLIVIA
2018
 REDES NEURALES RECURRENTES

1. INTRODUCCIÓN
Las redes neuronales recurrentes forman una herramienta apropiada para modelar
series temporales. Se trata de un tipo de redes con una arquitectura que implementa
una cierta memoria y, por lo tanto, un sentido temporal. Esto se consigue
implementando algunas neuronas que reciben como entrada la salida de una de las
capas e inyectan su salida en una de las capas de un nivel anterior a ella.

Las redes neuronales recurrentes son capaces de realizar una amplia variedad de
tareas computacionales incluyendo el tratamiento de secuencias.

Redes Neuronales Recurrentes son redes neuronales que aplican la misma operación
a cada elemento de una secuencia de datos de entrada (texto, voz, video, etc) por eso,
se llaman recurrentes; y cuya salida depende tanto de los datos de entrada presentes
como pasados incorporando un estado variante en el tiempo.
2. TIPOS DE REDES RECURRENTES

2.1 RED RECURRENTE DE HOPFIELD

Las Redes de Hopfield pertenecen a un grupo especial de redes, llamadas redes
recursivas o recurrentes, que se empezaron a desarrollar a principios de los 80. Son
muy apropiadas para simulación de memorias asociativas.

La Red de Hopfield es una red recurrente, es decir, existe realimentación entre las
neuronas. De esta forma, al introducir un patrón de entrada, la información se propaga
hacia adelante y hacia atrás, produciéndose una dinámica. En algún momento, la
evolución se detendrá en algún estado estable. En otros casos, es posible que la red
no se detenga nunca.

Las redes recurrentes deben cumplir tres objetivos:

a. Dado cualquier estado inicial, deben converger siempre a un estado estable.

b. El dominio de atracción de cada estado estable debe estar perfectamente
delimitado y cumplir algún criterio de métrica (por ejemplo, que el estado final sea el
más cercano al inicial).
c. Debe poder tener cualquier número de estados estables.

La red de Hopfield fue diseñada en 1982. Consta de una matriz de pesos fija W,
simétrica y de diagonal nula. Dado que la matriz de pesos es fija, puede parecer que la
red no aprende nunca. En el caso de estas redes, es el proceso de construcción de
esta matriz W la que le da el proceso de aprendizaje / memorización.
La operación de la red es totalmente diferente al sistema de perceptrón. En el modelo
de Hopfield, la primera salida es tomada como entrada en el ciclo siguiente,
produciendo una nueva salida.

Por tanto el aprendizaje es también diferente; en este sistema no se trata de ajustar

pesos ya que éstos se mantienen constantes desde el principio, se trata de encontrar
dichos pesos, en función del problema.

En cuanto a las aplicaciones más conocidas de este modelo destacan las relacionadas
con el reconocimiento de imágenes y de voz, el control de motores y sobre todo la
resolución de problemas de optimización. En este último ámbito se ha aplicado para la
resolución de ecuaciones y del problema del viajante de comercio, manipulación de
grafos, procesado de señales (conversores analógico-digitales) y de imágenes, etc.

2.2 RED RECURRENTE ELMAN

La red de Elman está constituida por una capa de sensores o unidades de entrada, dos
capas intermedias de unidades (una capa de unidades ocultas y otra capa de unidades
de contexto) y una capa de unidades de salida. Los sensores de entrada y las unidades
de salida recogen la información del entorno, es decir, la suministrada por el conjunto
de patrones de entrenamiento, mientras que las demás no. Las unidades de salida
reciben la señal suministrada por la salida de las unidades de la capa oculta
ponderadas por los correspondientes pesos sinápticos y suelen utilizar como función de
transferencia la función identidad. Sin embargo, la novedad de este modelo la
introducen las unidades de contexto que se utilizan para memorizar las salidas de las
unidades ocultas en la etapa anterior, de manera que cada unidad de contexto tiene
como salida la salida de la unidad oculta correspondiente en la etapa anterior. Por lo
tanto, esta red es sólo parcialmente recurrente y cada unidad de proceso oculta recibe
como entrada las salidas de las unidades de contexto y de los sensores de entrada
ponderadas por sus pesos sinápticos. De esta manera la salida de la red depende no
sólo del patrón de entrada actual sino también de los patrones anteriores a través de
las unidades de contexto. Las unidades de proceso de la capa oculta tienen como
función de transferencia la función logística, la función tangente hiperbólica o la función
identidad.
2.3 RED RECURRENTE LSTM (LONG SHORT TERM MEMORY)

Las redes LSTM(Long-Short-Term-Memory) es un tipo de red recurrente capaz de

aprender dependencias a largo plazo, prácticamente recuerda información por largos
periodos de tiempo. con una construcción interna un poco diferente a la normal.

Para los siguientes resultados usamos una red LSTM (Long short term memory) para
generar textos. Esta red está hecha usando tensorflow y obtenida de Aquí la cual
también modificamos para nuestro caso en la que usamos dos capaz lstm de 256
neuronas cada una y una capa de salida softmax completamente conectada del mismo
tamaño que la de entrada. Código aquí Usamos para el aprendizaje de la red algunos
discursos políticos de México y alguno de otro país hispanohablante.
3. ALGORITMO DE UNA RED NEURAL

El algoritmo Chemotaxis toma los pesos iniciales al azar con distribución gaussiana,
cuando la iteración es exitosa (disminuye el valor de la función de error) el algoritmo
continúa en esta dirección hasta que la función de error j no muestre cambios.