Documenti di Didattica
Documenti di Professioni
Documenti di Cultura
TEMA:
REDES NEURONALES
INTEGRANTES:
Ingeniería Mec ánica
- Mercado Villa, Jhoseline
Ingeniería Electromecánica
- Chiara Apaza, Jehseed
- Jiménez Gutiérrez, Stephan
- Yevara Morales, Nelson
- Zubieta Alarcón, Horacio
DOCENTE:
MSc. Ing. Lucio Mamani Choque
FACULTAD DE INGENIERÍA - UMSA
Contenido
1. REDES NEURONALES DESDE LA PERSPECTIVA BIOLÓGICA .................. 2
1.1. Panorama General ..................................................................................... 2
1.2. Redes neuronales de tipo biológico RNB ................................................... 2
1.3. Auto Organización y Adaptabilidad ............................................................ 3
1.4. Procesado No Lineal y Paralelo ................................................................. 4
2. QUE SON LAS REDES NEURONALES EN SISTEMAS DE CONTROL ......... 4
3. Ecuaciones básicas de diseño .......................................................................... 9
3.1. Algoritmo de backpropagation .................................................................... 9
3.1.1. Formulación matemática de backpropagation ...................................... 10
4. DESARROLLO DE REDES NEURONALES: ................................................. 13
4.1. ENTORNOS DE DESARROLLO DE REDES NEURONALES ................. 14
5. APLICACIONES ............................................................................................. 17
5.1. Asociación y clasificación ......................................................................... 17
5.2. Regeneración de patrones ....................................................................... 17
5.3. Regeneración y generalización ................................................................ 18
5.4. Optimización ............................................................................................ 18
5.5. Casos concretos de aplicación ................................................................. 18
La mayor parte de las neuronas posee una estructura arbórea formada en su mayor
parte por dendritas que, conectadas a otras neuronas, se encargan de recibir los
estímulos de entrada neuronales mediante uniones denominas sinopsis. Algunas
neuronas tienen una estructura que las comunica con miles de neuronas más,
mientras otras sólo pueden comunicarse con unas cuantas a su alrededor. Las tres
partes importantes de la estructura de una neurona son:
Internamente la neurona utiliza todos los valores de entrada para realizar una suma
ponderada de ellos, la ponderación de cada una de los valores viene dada por el
peso que se le asigna a cada una de las conexiones de entrada, es decir, que cada
conexión que llega a nuestra neurona tendrá asociado un valor que servirá para
definir con que intensidad cada variable de entrada afecta a la neurona,
intuitivamente esto representa como palancas que se pueden subir y bajar para
modificar positiva o negativamente estos valores.
La ecuación que se forma es muy similar a la de una ecuación lineal, lo que quiere
decir que una neurona internamente hace una regresión lineal. Se tienen valores de
entrada que definen una recta en un plano a la que se puede variar la inclinación
DISEÑO DE SISTEMAS DE CONTROL 5
FACULTAD DE INGENIERÍA - UMSA
variando los parámetros; este término que hará cambiar la posición de esa recta se
lo denomina como SESGO (Bias) donde la variable siempre está asignada a uno.
De esta manera actuara exactamente como una regresión lineal.
Para conseguir que nuestra red no colapse se necesita que la suma de este sistema
de como resultado algo diferente a una recta y para esto necesitaremos que cada
una de estas líneas sufra alguna manipulación no lineal que las distorsione.
Las salidas de error se propagan hacia atrás, partiendo de la capa de salida, hacia
todas las neuronas de la capa oculta que contribuyen directamente a la salida. Sin
embargo, las neuronas de la capa oculta solo reciben una fracción de la señal total
del error, basándose aproximadamente en la contribución relativa que haya
aportado cada neurona a la salida original. Este proceso se repite, capa por capa,
hasta que todas las neuronas de la red hayan recibido una señal de error que
describa su contribución relativa al error total.
El coste de nuestra red neuronal será la diferencia que tuvimos entre nuestro valor
esperado y el que obtuvimos.
El objetivo de algoritmo de backprogation es determinar la derivada parcial del coste
respecto a los parámetros W, pero como vimos anteriormente en se tiene dos tipos
de parámetros, los pesos que se denotan con “w” y el sesgo “b” entonces
matemáticamente tenemos:
𝜕𝐶 𝜕𝐶
;
𝜕𝑤 𝜕𝑏
Aplicando esto ya a una red neuronal se tiene:
1
DISEÑO DE SISTEMAS DE CONTROL
0
FACULTAD DE INGENIERÍA - UMSA
Para calcular esta derivada debemos determinar el camino que conecta el valor del
parámetro y el coste final.
Como vimos anteriormente el parámetro “W” que engloba a “w” y a “b” son parte de
una suma ponderada dentro de la neurona, a toda esta expresión la denotaremos
como “Z”, como estamos trabajando en la última capa tendremos:
𝑍𝐿 = 𝑊 𝐿 𝑋 + 𝑏𝐿
Ahora bien, como ya definimos “Z” tendremos que aplicarle la función de activación
y a esta misma la función coste y así determinamos el error de la red de la siguiente
manera:
𝐶(𝑎(𝑍 𝐿 )) = 𝐸𝑅𝑅𝑂𝑅
1
DISEÑO DE SISTEMAS DE CONTROL
1
FACULTAD DE INGENIERÍA - UMSA
𝜕𝐶
= Derivada del coste respecto a la activación es la variación de la función de
𝜕𝑎𝐿
coste respecto a la activación en la última capa.
𝜕𝑎𝐿
=Derivada de la activación respecto a la suma ponderada este valor representa
𝜕𝑧 𝐿
como varia el output de la neurona cunado variamos la suma ponderada, en pocas
palabras llega a ser la derivada de la función de activación
𝜕𝑧 𝐿 𝜕𝑧 𝐿
; =Derivada de la suma pondera respecto a los parámetros, estos dos valores
𝜕𝑤 𝐿 𝜕𝑏 𝐿
los podemos calcula de la siguiente manera:
𝑧 𝐿 = ∑ 𝑎𝐿−1 𝑤 𝐿 + 𝑏 𝐿
𝑖
𝜕𝑧 𝐿 𝜕𝑧 𝐿
𝐿
=1 ; 𝐿
= 𝑎𝑖𝐿−1
𝜕𝑏 𝜕𝑤
Donde 𝑎𝑖𝐿−1 es el output de la capa anterior de la red “L-1” y así se conecta la ultima
capa con la anterior.
Ahora bien, si tenemos la siguiente derivada:
𝜕𝐶
𝜕𝑧 𝐿
Esta nos indica en que grado se modifica el coste cuando se produce un pequeño
cambio en la suma de la neurona, es decir esta derivada nos indica que
responsabilidad tiene la neurona en el resultado final y por lo tanto en el error. A
este valor se le llama error imputado de la neurona.
𝜕𝐶
= 𝛿𝐿
𝜕𝑧 𝐿
Reemplazando este valor se tiene:
𝜕𝐶
= 𝛿 𝐿 ∗ 𝑎𝑖𝐿−1
𝜕𝑤𝐿
𝜕𝐶
= 𝛿𝐿
𝜕𝑏 𝐿
Entonces el error de la neurona se puede escribir como:
𝜕𝐶 𝜕𝑎𝐿
𝛿𝐿 = ∗
𝜕𝑎𝐿 𝜕𝑧𝐿
Ahora bien, para trabajar con las demás capas no es necesario realizar el mismo
calculo, por lo que se tiene en estos 4 pasos:
1
DISEÑO DE SISTEMAS DE CONTROL
2
FACULTAD DE INGENIERÍA - UMSA
𝜕𝑎𝐿−1
𝛿 𝐿−1 = 𝑊 𝑙 𝛿 𝐿 ∗
𝜕𝑧𝐿−1
3) Calculamos las derivadas de la capa usando el error:
𝜕𝐶 𝜕𝐶
𝐿−1
= 𝛿 𝐿−1 ;
𝜕𝑏 𝜕𝑤𝐿−1
=𝛿 𝐿−1
∗ 𝑎𝑖𝐿−2
1
DISEÑO DE SISTEMAS DE CONTROL
3
FACULTAD DE INGENIERÍA - UMSA
Simuladores
Los simuladores de redes neuronales son aplicaciones que se utilizan para simular
el comportamiento de las redes neuronales artificiales o biológicas. Se centran en
uno o un número limitado de tipos específicos de redes neuronales. Están
construidos usualmente para que trabajen de manera independiente y no están
destinados para producir redes neuronales generales que se puedan integrar en
otros programas.
1
DISEÑO DE SISTEMAS DE CONTROL
4
FACULTAD DE INGENIERÍA - UMSA
Simuladores de investigación
1
DISEÑO DE SISTEMAS DE CONTROL
5
FACULTAD DE INGENIERÍA - UMSA
En 1997, el software tLearn fue lanzado para acompañar un libro 4. Esto fue una
vuelta a la idea de ofrecer un pequeño simulador fácil de usar, diseñado con el
principiante en mente. tLearn permitió redes "feed forward" básicas, junto con las
redes recurrentes simples, las cuales pueden ser entrenadas por el simple algoritmo
de propagación hacia atrás. tLearn no se ha actualizado desde 1999.
En el año 2011, el simulador Basic Prop fue lanzado. Basic Prop es una aplicación
auto-contenida, distribuida como una plataforma neural en un archivo JAR, que
proporciona gran parte de la misma funcionalidad simple de tLearn.
Los entornos de desarrollo para las redes neuronales se diferencian del software
descrito anteriormente principalmente en dos temas - que pueden ser utilizados para
desarrollar tipos personalizados de redes neuronales y que apoyan el despliegue
de la red neuronal fuera del entorno. En algunos casos tienen capacidades
avanzadas de preprocesamiento, análisis y visualización.
5. APLICACIONES
Las redes neuronales pueden utilizarse en un gran número y variedad de
aplicaciones, tanto comerciales, industriales y de ingeniería. Se pueden
desarrollar redes neuronales en un periodo de tiempo razonable, con la
capacidad de realizar tareas concretas mejor que otras tecnologías. Cuando
se implementan mediante hardware (redes neuronales en chips VLSI),
presentan una alta tolerancia a fallos del sistema y proporcionan un alto
grado de paralelismo en el procesamiento de datos. Esto posibilita la
inserción de redes neuronales de bajo coste en sistemas existentes y
recientemente desarrollados.
1
DISEÑO DE SISTEMAS DE CONTROL
7
FACULTAD DE INGENIERÍA - UMSA
5.4. Optimización
Las Redes Neuronales son herramientas interesantes para la
optimización de aplicaciones, que normalmente implican la búsqueda del
mínimo absoluto de una función de energía. Para algunas aplicaciones,
la función de energía es fácilmente deducible; pero en otras, sin embargo,
se obtiene de ciertos criterios de coste y limitaciones especiales.
1
DISEÑO DE SISTEMAS DE CONTROL
8
FACULTAD DE INGENIERÍA - UMSA
1
DISEÑO DE SISTEMAS DE CONTROL
9