295

Encuentro de Investigación en IE, 5 — 7 de Abril, 2006

Encuentro de Investigación en Ingeniería Eléctrica

Zacatecas, Zac, Abril 5 — 7, 2006

Diseño Robusto de Redes

Neuronales Artificiales
Ortiz-Rodríguez J.M.1,2, Martínez Blanco M.R.1, Vega-Carrillo H.R.1,2

Ingeniería en Comunicaciones y Electrónica

1: Unidad Académica de Ingeniería Eléctrica, 2: Unidad Académica de Estudios

Nucleares

Resumen – La determinación de un conjunto apropiado de

valores de los parámetros estructurales y de aprendizaje de
redes neuronales, sigue siendo aún una tarea difícil. La
integración de redes neuronales y la optimización proporciona
una herramienta para diseñar los parámetros de la red y
mejorar su desempeño. La metodología de diseño robusto de
Taguchi es una poderosa técnica de optimización para la
solución de problemas, ofreciendo considerables beneficios en
tiempo y exactitud cuando se compara con los métodos
convencionales de diseño de redes neuronales como el método
de ensayo y error. En el presente trabajo se desarrolla una
estrategia sistemática y experimental para el diseño robusto de
redes neuronales artificiales de propagación hacia adelante,
entrenadas por medio del algoritmo de propagación inversa, la
cual enfatiza la optimización simultánea de los parámetros
estructurales y de aprendizaje de la red neuronal bajo diversas
condiciones de ruido. La metodología propuesta se aplica en la
espectrometría de neutrones, diseñando una Red Neuronal
robusta con la topología 7-14-31, la cual reconstruye espectros
de neutrones con alto desempeño.
Abstract — Determining a suitable set of structural and
learning parameters of Artificial Neural Networks still
remains a difficult task. Integration of Neural networks and
optimization provides a tool for designing the network
parameters and improve its performance. The Robust Design
Taguchi methodology it is a powerful technique for problems
solution, and provides considerable benefits in time and
accuracy when is compared with trial and error techniques. In
the present work it is developed a systematic and experimental
strategy for the robust design of Multilayer Feedforward
Neural Networks trained by means of Backpropagation
learning algorithm, underlying the simultaneous optimization
of the structural and learning parameters of the network
under diverse noise conditions. The proposed methodology is
applied in neutron spectrometry, designing a Robust Neural
Network, with a topology 7-14-31, which unfolds neutron
spectra with high performance.
Palabras clave — Espectrometría de neutrones, Redes
neuronales, metodología Taguchi, Diseño robusto.
I. INTRODUCCIÓN
A. Redes neuronales Artificiales
Los modelos de redes neuronales artificiales se han
estudiado por muchos años con la esperanza de
alcanzar un desempeño como el del humano en los
campos del reconocimiento de imágenes y de voz,
intentando obtener un buen desempeño a través de una
densa interconexión de elementos simples de cálculo
llamados neuronas. [1], [2] y [3]
El éxito de las redes neuronales artificiales se podría
deber a su habilidad para aproximar o aprender
complejas relaciones usando procesadores no lineales
masivamente interconectados y paralelamente
distribuidos. Por otro lado el diseño de redes
neuronales es, en gran medida, un proceso de ensayo y
error. [1], [2] y [4]
Las redes neuronales multicapa del tipo feedforward,
entrenadas por medio del algoritmo de propagación
inversa, es una de las redes neuronales más populares.
Para diseñar una red de alto desempeño, de este tipo,
se deben considerar simultáneamente parámetros
relacionados con el entrenamiento, la estructura de la
red junto con sus efectos de interacción además de
parámetros indeseables en el entrenamiento, siendo
deseable que el desempeño de la red sea robusto a
estos últimos.
Sin embargo, determinar un conjunto apropiado de
valores de los parámetros estructurales y de
aprendizaje de una red neuronal artificial continúa
siendo una tarea difícil. [5], [6], [7], [8] y [9]
296
Encuentro de Investigación en IE, 5 — 7 de Abril, 2006
En este trabajo se diseña una estrategia sistemática y
experimental de diseño robusto de redes neuronales
artificiales del tipo feedforward, entrenadas por medio
del algoritmo de propagación inversa, empleando la
metodología de diseño robusto de Taguchi, para
determinar los valores óptimos de las variables de
diseño de la red neuronal, maximizando la capacidad
de generalización de la red diseñada bajo diversas
condiciones de ruido.
A diferencia de trabajos previos, el presente problema
de diseño robusto, se formula como un problema de
diseño de parámetros dinámico, junto con un ajuste
fino de la salida de la red de propagación inversa
cuando fuese necesario, para determinar los valores de
las variables de diseño de la red neuronal.
La metodología propuesta, se aplica en la
espectrometría de neutrones, [10], [11], [12], [13],
[14], [15], y [16] diseñando los parámetros
estructurales y de aprendizaje de una red neuronal
artificial, la cual es capaz de reconstruir espectros de
neutrones de alta calidad. [17], [18], [19]
Se considera que este trabajo se realiza por vez
primera, no teniéndose conocimiento de que se haya
reportado en la literatura una herramienta como la que
aquí se presenta.
B. Diseño de Redes Neuronales Multicapa de
Propagación Inversa
Para el diseño, entrenamiento y prueba de una red
neuronal multicapa, se debe determinar la topología de
la red, esto es: la selección aleatoria inicial de pesos
sinápticos, tasa de aprendizaje, número de capas
ocultas y neuronas dentro de éstas, y momento. [1],
[2], [4], [5], [6], [7], [8] y [9]
La determinación de los valores de los parámetros
antes mencionados, habitualmente se determina por
medio de la técnica de ensayo y error, sin embargo, el
gran inconveniente de este método es que evalúa un
parámetro, mientras que los otros se mantienen en un
nivel fijo, lo que conlleva a invertir grandes
cantidades de tiempo en la determinación de los
mismos.
Aunque el algoritmo de aprendizaje de propagación
inversa, proporciona un método para entrenar redes
neuronales multicapa de propagación hacia adelante,
no está libre de problemas. Como ya se mencionó,
muchos factores afectan el desempeño del aprendizaje
y deben ser tratados para tener un proceso de
aprendizaje exitoso, una buena elección de estos
parámetros podría acelerar en gran medida el proceso
para alcanzar el objetivo.
Aunque no existe una respuesta universal para tales
tópicos, se propone el uso de una técnica sistemática y
experimental, empleando la metodología de diseño
robusto de Taguchi, la cual ofrece beneficios
potenciales en el diseño de redes neuronales
artificiales.
II. MATERIALES Y MÉTODOS
Los procesos de optimización conocidos como
métodos Taguchi, se aplican al diseño de redes
neuronales, los cuales ofrecen beneficios potenciales
en la evaluación del comportamiento de la red así
como la habilidad para examinar la interacción de los
pesos y neuronas dentro de la misma. [5], [6], [7], [8]
y [9]
El método de diseño robusto utiliza una herramienta
matemática llamada “Arreglos Ortogonales (A.O)”
para estudiar una gran cantidad de variables de
decisión con un número pequeño de experimentos.
También utiliza una medición de la calidad llamada
“relación señal-ruido” para predecir la calidad del
proceso o producto. [20]
El tamaño y los parámetros de entrenamiento de las
redes neuronales tienen un efecto crítico en su
desempeño. El método de diseño de experimentos de
Taguchi, siendo un método paralelo, ofrece beneficios
considerables en tiempo y precisión cuando se
compara con el método serial convencional o el
método de ensayo y error. [5], [6], [7], [8], y [9]
La metodología de diseño robusto de Taguchi, se
compone de las siguiente etapas: planeación,
experimentación, análisis y confirmación. [6] El uso
del método Taguchi asegura que la calidad de la red
neuronal se toma en cuenta desde la etapa de diseño.
La interpretación de los resultados experimentales se
basa en la técnica estadística conocida como análisis
de la varianza.
III. RESULTADOS
Los problemas de diseño robusto se clasifican de
manera general en Estáticos y Dinámicos, como se
ilustra en la figura 1.
 297
Encuentro de Investigación en IE, 5 — 7 de Abril, 2006

Etapa de Diseño

Diseño robusto de
Taguchi

Etapa de Experim. A.O., Matlab

ESTÁTICOS DINÁMICOS

EL NOMINAL EL MAS GRANDE EL MAS PEQUEÑO

EL MEJOR EL MEJOR EL MEJOR Entrada continua Entrada digital Entrada digital Entrada continua
Valor objetivo Valor objetivo Valor objetivo Salida continua Salida continua Salida digital Salida digital
(0 < t < ∞ ) ∞ 0 CICO DICO DIDO CIDO

Figura 1. Diseño Robusto

La metodología de diseño robusto de Taguchi es un

método experimental, el cuál está compuesto de 4
fases principales, cada una de las cuales contiene un
determinado número de pasos, los cuales se resumen
Etapa de Análisis
en la figura 2.
FASE 1
FASE 2 FASE 3 FASE 4
PLANEACIÓN
EXPERIMENTACIÓN ANÁLISIS CONFIRMACIÓN
Etapa de Confirm.
Identificar las:
1.- Características de desempeño
2.- Variables de ruido
3.- Variables de diseño
Conducir el
experimento
Calcular la medida apropiada de la
robustez (S-R), para las
características de desempeño
Pronosticar el valor de la medición
de la robustez en la condición
optima de diseño
Figura 3. Algoritmo para el diseño robusto de redes
Determinar los niveles de las variables
Identificar las variables de diseño que Conducir en experimento de
neuronales
tienen un efecto significativo en la confirmación en la condición
de diseño y las variables de ruido
medición optima de diseño

Diseñar un experimento y definir el

procedimiento de análisis de datos
Determinar los niveles óptimos de las
variables de diseño
Calcular la medición de la robustez para
las características de desempeño y checar
si la medición de la robustez esta cerca
Dicha metodología se implementó en el entorno de
del valor pronosticado
programación de Matlab Ver. 7.0, el cual consta de las
Figura 2. Metodología Taguchi siguientes etapas:

En base al método Taguchi, se desarrolló una 1. Determinar las características de calidad a ser
estrategia para resolver problemas de diseño optimizadas
topológico de redes neuronales artificiales del tipo 2. Identificar los factores de ruido y las
feedforward entrenadas por medio del algoritmo de condiciones de prueba
propagación inversa. Las redes diseñadas por medio 3. Identificar los parámetros de control y sus
de esta estrategia pueden ser de tipo continuo o niveles alternativos
discreto. La metodología de diseño de redes 4. Diseñar la matriz de experimentos y definir el
neuronales artificiales desarrollada, se muestra en la procedimiento de análisis de datos
figura 3. 5. Conducir la matriz de experimentos
6. Analizar los datos y determinar los niveles
óptimos
7. Pronosticar el desempeño en éstos niveles

La estrategia de diseño robusto de Taguchi de redes

neuronales artificiales, se aplicó en la reconstrucción
de espectros de neutrones, usando un conjunto de 187
espectros de neutrones compilados por la Agencia
Internacional de Energía Atómica, con el objetivo de
determinar los parámetros óptimos de entrenamiento y
establecer un criterio para ordenar la información de
forma tal que se obtuvieran los espectros
reconstruidos de mejor calidad. [17], [18] y [19]

En la etapa de análisis se determinaron las

características de calidad a ser analizadas y los
298
Encuentro de Investigación en IE, 5 — 7 de Abril, 2006

factores de diseño y de ruido así como sus parámetros 2 14 0 0.001 0.1 0.3 0.1
de control y niveles alternativos como se muestra en 3 56 56 0.001 0.1 0.1
las tablas 1 y 2.
En la etapa de experimentación se hizo uso de una
La tabla 1 muestra las variables de diseño y sus herramienta de software diseñada en el entorno de
niveles de la Red Neuronal a ser diseñada, aplicada en Matlab Ver 7.0, la cual automatiza el proceso de
la reconstrucción de espectros de neutrones. análisis y procesamiento de la información usada en la
reconstrucción de espectros de neutrones. Esta
Tabla 1. Variables de diseño y sus niveles
herramienta aplica las pruebas estadísticas de Chi
VARIABLES
NIVEL 1 NIVEL 2 NIVEL 3 cuadrada y Correlación a los datos de prueba de la red
DE DISEÑO
neuronal luego de que la misma fue entrenada. Los
A) Neuronas Capa Oculta 1 14 28 56 datos obtenidos mediante esta herramienta se
B) Neuronas Capa Oculta 2 0 28 56 presentan en las tablas 4 y 5.
C) Tasa de Aprendizaje 0.001 0.1 0.3 Tabla 4. Chi cuadrada de los espectros del grupo de 187 espectros (37/187
D) Momento 0.1 0.3 0.5 espectros de prueba) valor de tablas 18.5 para 30 grados de libertad
2 2
X X
ESPECTRO

0.1479 0.4494 18.2147 0.0248

La tabla 2 muestra las variables de ruido y sus niveles 1 11 21 31

seleccionados. 2 0.1226 0.1405 12 22 0.9369 0.0638 32

3 0.1548 0.0339 13 23 0.1004 0.0728 33

Tabla 2. Variables de ruido y sus niveles
4 0.4754 0.0915 14 24 0.2196 0.0666 34
VARIABLES
ESPECTRO

ESPECTRO
5 0.0498 0.1338 15 25 0.1385 0.6222 35
DE RUIDO NIVEL 1 NIVEL 2
6 0.0292 0.5894 16 26 0.8350 0.0780 36
U) Inicialización aleatoria
de pesos sinápticos Conjunto 1 Conjunto 2 1.4569 0.0424 0.2878 0.1825
7 17 27 37

V) Porcentaje de datos 8 0.0338 0.3581 18 28 0.1664

Entrenamiento y Prueba 6:4 8:2
9 0.1028 0.1883 19 29 0.0132
W) Generar Datos 0.1044 0.1191 0.0195
aleatorios de Entr1/Prue1 Entr2/Prue2 10 20 30
Entrenamiento y Prueba
La prueba estadística de Chi cuadrada, con un valor de
Con la información de las variables de diseño y de tablas de 18.5 para 30 grados de libertad, de la tabla 4,
ruido, se uso un Arreglo Ortogonal cruzado L9, L4 aplicada a los espectros de neutrones en la etapa de
mediante el cual se analizo la relación Señal/Ruido. prueba de la Red Neuronal diseñada, muestra el nivel
de confianza de los resultados al demostrar que no
La relación Señal/Ruido se usa para determinar los existe una diferencia estadística significativa entre los
parámetros óptimos de diseño de la de la topología de espectros reconstruidos y los esperados, ya que la
la Red Neuronal diseñada en este trabajo, aplicada en
totalidad de los mismos se encentran por debajo del
la reconstrucción de espectros de neutrones,
valor de tablas
resaltando los valores óptimos seleccionados al aplicar
la metodología de diseño robusto de redes neuronales
artificiales.
Tabla 5. Correlación de los espectros del grupo de 187 espectros (37/187
espectros de prueba)
R ESPECTRO
R

1 0.9944 0.9343 11 21 0.9846 0.9984 31

2 0.8660 0.9832 12 22 0.9734 0.9958 32

3 0.9814 0.9634 13 23 0.9768 0.9905 33

ESPECTRO
ESPECTRO

Tabla 3. Parámetros usados en la etapa de confirmación para el

arreglo de 187 espectros 4 0.9781 0.8939 14 24 0.9857 0.9054 34

5 0.9840 0.9567 15 25 0.9888 0.8601 35

EXP.
A B C D 6 0.9992 0.8502 16 26 0.9957 0.9768 36
NO.
7 0.9350 0.9995 17 27 0.9992 0.8067 37
1 14 0 0.001 0.1
8 0.9883 0.9925 18 28 0.9703

Encuentro de Investigación en IE, 5 — 7 de Abril, 2006
9 0.9881 0.9834 19 29 0.9946
10 0.9939 0.8894 20 30 0.9921
La prueba de correlación aplicada a los espectros
reconstruidos obtenidos, al encontrarse muy cercana al
valor de 1, muestra un alto nivel de confianza de los
espectros obtenidos en comparación con los espectros
esperados.
La herramienta de programación diseñada en Matlab,
realiza el graficado de los valores esperados y
obtenidos mediante el proceso de entrenamiento y
prueba de la red neuronal como se ilustra en las
figuras 4 y 5, en donde pueden apreciarse el mejor y el
peor de los casos de los espectros reconstruidos,
comparados con los espectros esperados en ambos
casos. De igual forma en las graficas se incluye
información relevante como el valor de Chi cuadrada
y Correlación esperada y obtenida, entre otras.
Figura 4. Espectro 29/37. El mejor de los casos
Figura 5. Espectro 21/3. El peor de los casos
299
IV. CONCLUSIONES
Se desarrolló una estrategia sistemática y experimental
para el diseño robusto de redes neuronales artificiales
del tipo feedforward entrenadas por medio del
algoritmo de entrenamiento de propagación inversa,
diseñando un algoritmo para determinar los
parámetros óptimos en el diseño de redes neuronales
artificiales para problemas con datos continuos y
digitales, aplicando la metodología Taguchi, usando
el entorno de programación de Matlab Ver. 7.0,
automatizando el análisis y procesamiento de la
información, lo cual reduce significativamente el
tiempo empleado en la búsqueda de la topología
óptima de la red neuronal a ser diseñada.
El método descrito, desarrollado e implementado, se
aplica por vez primera en el área de las ciencias
nucleares, para la reconstrucción de espectros de
neutrones.
En este trabajo, la metodología de diseño robusto de
Taguchi se aplicó a la búsqueda de la topología
óptima de una red neuronal artificial (7-14-31),
aplicada en la reconstrucción de espectros de
neutrones, para lo cual se construyó y entrenó un
conjunto de topologías de redes con el objetivo de
determinar los parámetros óptimos de red que
produjera los mejores resultados, es decir, los
espectros reconstruidos con el error mínimo entre los
espectros esperados y los obtenidos.
Los resultados obtenidos en la reconstrucción de
espectros de neutrones, mediante la metodología
propuesta, se verificaron aplicando la prueba
estadística Chi cuadrada y un análisis de regresión con
una medida numérica del grado de correlación entre
las variables esperada y obtenida para validar la
efectividad del método.
El método desarrollado, se propone como un método
general de diseño robusto de redes neuronales. A
diferencia de las técnicas tradicionales, puede ser
empleado sin importar la naturaleza del problema,
siempre que se use una red neuronal del tipo
feedforward de propagación inversa, ya que se hace
uso de una técnica general para determinar los
parámetros óptimos de la red en cuestión.
El método experimental propuesto, es una alternativa
útil para el diseño robusto de redes neuronales
artificiales del tipo de propagación inversa. Ofrece una
forma conveniente de considerar simultáneamente
300
Encuentro de Investigación en IE, 5 — 7 de Abril, 2006
variables de diseño y de ruido, e incorpora el concepto
de robustez en el proceso de diseño.
REFERENCIAS
[1] Gupta M.M., Lin J., and Homma N., Static and
Dynamic Neural Networks. From Fundamentals to
Advanced Theory, John Wiley & Sons, 2003.
[2] Haykin S., Neural networks: A comprehensive
foundation, Prentice Hall, 1999.
[3] Jain, A.K., Mao J., and Mohuiddin, K.M.,
Artificial neural networks: a tutorial, IEEE, 1996.
[4] Lippmann R.P., An introduction to computing with
neural networks, IEEE ASSP MAGAZINE, 4(2),
1987.
[5] Packianather M.S. and Drake P.R., Modelling
neural network performance through response
surface methodology for classifying wood veneer
defects, IMechE (Proc. Instn. Mech. Engrs.), 218,
Parte B, 2004.
[6] Shyam M.N., Robust Design, Departament of
aerospace engineering, Indian institute of
technology, Bombay, 2002.
[7] Lin, TY, and Tseng, CH., Optimum design for
artificial neural networks: an example in a bycicle
derailleur system, Eng. Appl. Artificial
Intelligence, 2000.
[8] Peterson G.E., St. Clair D.C., Aylward S., and
Bond W., Using Taguchi´s method of
experimental design to control errors in layered
perceptrons, IEEE transactions on neural networks,
6, 1995.
[9] Chen Y., Tam S.C., Chen W.L., Zheng H.Y.,
Application of Taguchi method in the optimization
of laser micro-engraving of photomasks, Intern. J.
Materials and Product Tech., 11(3-4), 1996.
[10] Fehrenbacher, G., Schutz R., Hahn K., Sprunk M.,
Cordes, A., Biersack J.P., Wahl W., Proposal of a
new method for neutron dosimetry based on
spectral information obtained by application of
artificial neural networks, Radiat. Prot. Dosim., 83,
1999.
[11] Vega-Carrillo H.R., Hernández-Dávila V.M.,
Manzanares-Acuña E., Iñiguez de la Torre M.P.,
Méndez R., Palacios F., Barquero R.,
Reconstrucción de Espectros de Neutrones
Mediante Redes Neuronales, XIV Congreso Anual
de la Sociedad Nuclear Mexicana/XXI Reunión
Anual de la Sociedad Mexicana de Seguridad
Radiológica, 2003.
[12] Vega-Carrillo H.R., Hernández-Dávila V.M.,
Manzanares-Acuña E., Mercado-Sánchez G.A.,
Iñiguez de la Torre M.P., Barquero R., Artega-
Arteaga T., Ortiz-Rodríguez J.M., Neutron
Spectrometry Using Artificial Neural Networks.
Radiat. Measurem. (en prensa, 2005).
[13] Vega-Carrillo H.R., Hernández-Dávila V.M.,
Manzanares-Acuña E., Mercado-Sánchez G.A.,
Artega-Arteaga T., Ortiz-Rodríguez J.M., Neutron
Spectra Unfolding With Artificial Neural
Networks, Encuentro de Investigación en
Ingeniería Eléctrica, ENINVIE 2005, Zacatecas,
Zac.
[14] Vega-Carrillo, H.R., Iñiguez, M.P., Catalogue to
select the initial guess spectrum during unfolding,
Nucl. Instrum. Meth. Phys. Res. A 476, 2002.
[15] Vega-Carrillo, H.R., Manzanares-Acuña, E.,
Hernández-Dávila, V.M, and Mercado, G.A.
Response matriz of a multisphere neutron
spectrometer with an 3He proportional counter
Rev. Méx. Fís., 51: 47-52, (2005).
[16] Vega-Carrillo, H.R., Wehring, B.W., Veinot, K.G.
and Hertel, N.E., Response Matrix for a
Mulltisphere Spectrometer using a 6LiF
Thermoluminescence Dosimeter, Radiat. Prot.
Dosim., 81: 133, (1999).
[17] Ortiz-Rodríguez, J.M., Martínez-Blanco, M.R.,
Arteaga-Arteaga, T., Vega-Carrillo, H.R.,
Hernández-Dávila, V.M. y Manzanares-Acuña,
E., Reconstrucción de espectros de neutrones
usando redes neuronales a partir del sistema
espectrométrico de esferas de Bonner, VIII
conferencia internacional y XVIII congreso
nacional sobre dosimetría de estado sólido, 2005.
[18] Ortiz-Rodríguez, J.M, Diseño robusto de redes
neuronales aplicadas en la espectrometría de
neutrones, tesis de maestría, Unidad Académica de
Estudios Nucleares, Universidad Autónoma de
Zacatecas, 2005.
[19] Martínez - Blanco M.R., Espectrometría de
neutrones y calculo de dosis equivalentes
empleando la metodología de diseño robusto de
redes neuronales artificiales, Tesis de licenciatura,
Unidad Académica de Ingeniería Eléctrica,
Universidad Autónoma de Zacatecas, 2006.
[20] Jiju A. and Jiju Frenie A., Teaching the Taguchi
method to industrial engineers, MCB University
press, 50(4), 2001.