Daniel Numberger ETSI Telecomunicacin Universidad Politcnica de Madrid

Febrero 2004

Prctica inicial del Laboratorio de Sistemas Inteligentes

Aplicaciones industriales de redes neuronales

1. Presentacin
Redes neuronales han sido estudiado casi desde los principios de la era de los ordenadores. Al principio la investigacin de los redes neuronales estaba centrado en y motivado por la biologa. Pero los modelos de los redes neuronales desarrolladas eran demasiado dbiles para solucionar tareas de procesamiento de informacin compleja que podemos encontrar en muchas aplicaciones industriales. Nuevas innovaciones en los aos 80 llevaron a la aparicin de modelos de redes neuronales ms poderosos. Muchos estudios cientficos intentaron con xito demostrar los conceptos y los beneficios en varios sectores de aplicaciones industriales. En consecuencia la industria consideraba las redes neuronales como herramienta til. Hoy en da, las redes neuronales son populares y son aplicadas en la varios sectores de la industria. En el pasado haba afirmaciones exageradas sobre la capacidad de las redes neuronales. Pero los investigadores y los usuarios de trabajaron en una mejora de la compresin de los modelos y la notificacin de las ventajas y los inconvenientes en diferentes sectores industriales. Ahora el campo de las redes neuronales es ms realista y est siguiendo el buen camino. Expectativas realistas y experiencias reales han conseguido disminuir el riesgo de fracasos y malas reputaciones generadas por estos. Hoy en da se sabe bien qu las redes neuronales son y qu pueden rendir. Si se puede combinar este conocimiento con la experiencia en aplicaciones industriales, se pueden lograr rendimientos al nivel de las capacidades de las redes neuronales.

2. Aplicacin de las redes neuronales

Desde el punto de vista de la ingeniera las redes neuronales pueden ser considerado como sistemas dinmicos que trabajan extraordinariamente paralelamente. Ejecutan transformaciones de los datos entrantes dependiente de sus propios estados. Cmo se ejecuta la transformacin y cmo la red neuronal aprende depende del modelo utilizado. Evidentemente los sectores de aplicacin ms obvios son las tareas en las cuales se necesitan transformaciones de ciertos datos entrantes a ciertos datos salientes y estas transformaciones no pueden ser descubierto analticamente. Por este motivo no es una sorpresa que las aplicaciones ms eficaces se encuentran en los sectores: reconocimiento de patrones procesamiento de imgenes time series processing unsupervised clustering visualizacin de datos complejos

compresin de datos procesamiento de seales control, modelacin y monitorizacin de procesos industriales.

Gran parte de la investigacin de redes neuronales enfoca en modelos de redes individuales. Pero en las aplicaciones industriales tpicas se prefiere un punto de vista del nivel del sistema entorno. Redes neuronales particulares forman parte de un sistema ms extenso que contiene an ms tcnicas de procesamiento de datos, como por ejemplo la filtracin de seales. Esta manera de aplicacin de las redes neuronales lleva a una arquitectura hbrida en la cual se usa en cualquier mdulo un procedimiento basado en redes neuronales. Entonces la tareas del diseador de una aplicacin industrial es decidir en qu partes de las aplicacin se pueden usar redes neuronales. qu beneficios conllevar el uso de redes neuronales en esta aplicacin. qu tipos de redes neuronales son adecuados. Hay muchos modelos diferentes propuestos para el uso en aplicaciones industriales y tambin haba mucho esfuerzo para explorar las bases tericas des las redes neuronales y las relaciones con mtodos estadsticos. Muchos modelos de redes neuronales corresponden a tcnicas estadsticas populares como Generalized Linear Models, Polynomial Regression, Nonparametric Regression y Discrimant Analysis, por ejemplo el Multilayer Perceptron (PLC) o el Principal Component Analysis (PCA). Pero hay tambin modelos que no tienen ningn equivalente en el mundo de los mtodos estadsticos como el Self-Organizing Map que es til en el dominio de Data Analysis. Sin embargo, las redes neuronal deberan ser tratados como dispositivos estadsticos y empleados as. Conviene considerar los siguientes puntes importantes para cualquier aplicacin de redes neuronales: 1. Se preparan los datos. Los datos de entrenamiento deben contener suficiente informacin para construir el modelo en este caso. Tambin hay que considerar conocimiento conocido de antemano. 2. Se elige el modelo de red neuronal. El modelo tiene, por supuesto, gran influencia en las resultados. Generalization Ability es una medida con la cual se expresa la prestacin de la red cuando se ha terminada el entrenamiento, y valora la aptitud del modelo para la aplicacin actual. Se pueden clasificar los modelos de redes neuronales en tres clases segn su procedimiento del aprendizaje: supervisado, no supervisado y modelos de refuerzo. 3. Se entrena la red neuronal. La tarea de proceso de entrenamiento es generar una transformacin deseado del espacio de los dates entrantes al espacio de los dates salientes. Esto es un problema de aproximacin de una funcin matemtica, y siempre hay la misma dificultad, ya que el nmero limitado de muestras lleva a varias soluciones posibles. Para obtener resultados tiles hay que restringir las soluciones a un conjunto determinado. Solucionar este tarea es una parte muy importante de la metodologa de las redes neuronales. El nmero de parmetros disponibles de la red neuronal (es decir la complejidad de esta red) debera corresponder con la complejidad del problema y las muestras de entrenamiento disponibles. Si la red es demasiado compleja, aprender perfectamente el conjunto de las muestras, pero no generalizar bien. Por lo tanto se suministra una buena generalizacin a travs de controlar la complejidad. Cuando el conjunto de muestras es pequea, ruidosa y parcialmente errnea, esa tarea es an ms crucial. Los mtodos prcticos para controlar la complejidad son por ejemplo Early-Stopped Training, Weight Decay o mtodos bayesianos como Evidence Network. 4. Se juzga el rendimiento de la red neuronal. La manera general para determinar cmo la red (con sus parmetros) ha alcanzado la naturaleza de la funcin es revisar la red con muestras

adicionales que no han sido empleadas durante el entrenamiento. Los resultados as obtenidos podrn ser usado para la medida de la generalizacin de la red para examinar el nivel de confianza en el valor de generalizacin estimado del modelo. Para ello se usan mtodos estadsticos. Finalmente el juicio definitivo sobre el xito de la red neuronal construida se encuentra en el uso. Por supuesto, es preciso tener alguna experiencia con el diseo, el entrenamiento y la aplicacin de la red neuronal antes de tener cualquier xito. Cuando se venden las redes neuronales como black box a travs del cual solamente se pasan los datos, nuevos usuarios se quedan desilusionados y las redes neuronales son rechazados en general. Como eso implica conocimientos tcnicos paciencia y como eso significa que cada solucin con una red neuronal es nica, la industria no est dispuesto para gastar mucho tiempo en adquirir esos conocimientos para una nica solucin que sea solamente una pequea parte de un gran proyecto. Los datos normalmente estn preparados antes de que sean empleados para el entrenamiento. Hay una habilidad para elegir el mtodo ms adecuado. Si un mtodo menos adecuado sea elegido, a lo mejor los parmetros de la red neuronal no convergeran durante el entrenamiento. Esto es el contrario que la industria desea. Si no se pueden suministrar las redes neuronales como paquete de llave en mano, el esfuerzo para implementarlas ser a menudo demasiado grande. Los fuertes des las redes neuronales son: la habilidad para resolver problemas con muchos datos desarrollo rpido de prototipos adaptacin a cambios, aprendizaje variable en escalas no linealidad reas de aplicacin son: donde un procedimiento convencional no es apto o no puede ser desarrollado fcilmente o no puede capturar completamente la complejidad en los datos donde un comportamiento estocstico es importante donde no hace falta una explicacin de la decisin de la red neuronal donde es preferible encontrar una solucin buena rpidamente a encontrar la solucin mejor en ms tiempo donde hay que evaluar muchos datos histricos

3.Sectores industriales y reas de aplicacin de las redes neuronales

Los datos de este apartado basan en el proyecto de SIENA (Stimulation Initiative for European Neural Applications). Un objetivo de este proyecto era descubrir el grado de uso comercial de las redes neuronales en Europa. La Tabla 1 muestra los sectores ms importantes donde se usan las redes neuronales comercialmente. La Tabla 2 indica las reas de aplicacin ms tpicas. Como se puede notar, las redes neuronales son empleadas en un gran espectro de las industrias y en muchas aplicaciones distintas.

Produccin (fabricacin, agricultura, silvicultura) Negocio y marketing Banca, hacienda y seguros Medicina, saludo y farmacia Transporte Energa Comercio al mayor Otros
Tabla1 Sectores industriales

39% 19% 12% 3% 3% 3% 1% 20%

Control, monitorizacin y modelar Reconocimiento, deteccin, bsqueda de patrones Pronostica Procesamiento de imgenes Optimizacin Procesamiento de seales Otras
Tabla2 reas de aplicacin

31% 14% 14% 10% 4% 3% 23%

4. Ejemplos de aplicaciones industriales de las redes neuronales

4.1 Aplicacin en las telecomunicaciones
Hay muchos aplicaciones diferentes en el rea de las telecomunicaciones, tanto en el procesamiento de los seales como en el control del trafico, en el diseo de las arquitecturas de las redes de comunicacin y en la gestin de redes de telecomunicacin. Para el procesamiento de seales se usan Equalizers como procesadores programables de redes neuronales para la igualacin de canales digitales. Otra aplicacin es la asignacin de rutas en las redes de comunicacin. En grandes redes conviene el uso de rutas adaptables empleando redes neuronales. As los routers pueden aprender autnomamente y organizar las rutas entre s. En la gestin de las redes de telecomunicacin las redes neuronales ponen en prctica la gestin de fallos, es decir la deteccin de fallos y de las causas y proponen procedimientos para la resolucin de los fallos.

Aparte de las aplicaciones intrnsecas se emplean redes neuronales para la provisin de servicios de valor aadido para suministrar interfaces de usuarios, interpretacin de los datos transportados y seguridad adicional. Ejemplos son la identificacin del idioma en tiempo real, el reconocimiento de la huella, verificacin de la firma, sistemas seguros de entrada y alarmas inteligentes.

4.2 Neuropipe un sistema de inspeccin de gaseoducto/oleoductos

Gaseoductos y oleoductos respectivamente deben ser examinados de corrosin y otras averas regularmente. El centro de investigacin de informtica de Karlsruhe (FZI) y la empresa Pipetronix han desarrollado un sistema de inspeccin automtica denominado Neuropipe. El ncleo de este sistema de inspeccin es un clasificador basada en una red neuronal que fue entrenada por muestras de averas seleccionadas manualmente. Un nmero constante de 86 valores caractersticos de los candidatos defectos fueron determinados, pero de antemano no se saba el significado de cada uno de los valores. Haba 1400 muestras correctamente clasificadas que haban sido obtenido mediante un largo proceso de seleccin manual (medio ao). Para mejorar la generalizacin de la red neuronal, el nmero de los valores (los inputs de la red) fue reducido a 41. Esto se hizo mediante un Self Organizing Feature Map. Con estos valores caractersticos de las averas se entrenaron cinco redes distintos. Cada una era responsable para una clase de averas. Esta solucin tiene la ventaja que cada red solamente tiene la informacin sobre su clase respectiva, mientras que una sola red debera tener la informacin de todas las cinco clases. Esta manera de proceder fue demostrado correcta ya que la complejidad de las redes variaba mucho. Con este mtodo un 96% de las clasificaciones eran correctas. Pero dentro del 4% de las clasificaciones incorrectas haba averas graves, por eso era preciso mejorar el sistema. Por lo tanto se empleaba una organizacin jerrquico de las redes neuronales debido al hecho que un 50% de las averas pueden ser fcilmente separados de los otros. Cinco redes siguientes se encargan del resto y pueden concentrarse en los datos ms complejos. Con este procedimiento se lograron tasas de un 99%. El proyecto fue un xito, pero mostraba que el mayor problema es la clasificacin y la definicin de caractersticas para esa.

4.3 Modelling y control de procesos industriales

La industria procesal tena durante los ltimos aos mucha presin. Por un lado deban mejorar los productos, reducir desechos, eliminar toxinas y sobre todo aumentar los beneficios. Por otro lado era preciso reaccionar a la presin competitiva a la cual est expuesta la industria europea. Por eso tenan aumentar la eficiencia en los procesos industriales. Una solucin para lograr esto es la implementacin de redes neuronales en el control, el modelling y la monitorizacin de procesos existentes. De esta manera se puede perfeccionar el output de un proceso y adems disminuir los costes de este proceso. Y por supuesto, se puede reemplazar mano de obra, como las redes neuronales toman decisiones que antes era ejecutado por personas reales. Para modelar, controlar y monitorizar proceses industriales las redes neuronales ofrecen un potencial enorme. Con tal que sean disponibles suficientes datos histricos para el entrenamiento, se

pueden pronosticar parmetros de un proceso de antemano. La aplicacin de redes neuronales como sensores de software inteligentes (soft sensors) puede medir variables del proceso los cuales no pueden ser medido online. La ventaja de esto es que habr una estimacin temprana de la calidad del proceso con costes bajos. Ello permitir el control y la mejora de un proceso si no cumple las exigencias. Esta aplicacin como sensor inteligente puede ser empleada en casi toda la industria procesal. El diagnstico de errores en procesos industriales (por ejemplo en procesos qumicos) es otro campo de aplicacin. A menuda se usan redes neuronales jerrquicos para esta tarea. La primera red observa el proceso completo para determinar cundo y dnde hay un error. Las redes neuronales siguientes son ms especializados y examinan solamente la zona del proceso donde se encuentra el error y localizan ms exactamente la ubicacin de este error. A continuacin se delimita cada vez ms el espectro de errores usando cada vez ms precisos tipos de errores. Con este mtodo se pueden manejar tambin errores que no han ocurrido antes. La red neuronal producir informacin til dnde se localiza el error aunque no puede diagnosticar precisamente qu error es.

5. Dificultades y factores de xito. Perspectivas.

Dificultades: Los costes del desarrollo de un producto y el marketing pueden conllevar problemas, particularmente para las PYME. Pequeos mercados no soportan un desarrollo intensivo de un producto implementando redes neuronales. Estos proyectos carecen de los recursos tiempo, dinero y trabajadores. El objetivo de tal proyecto sera demasiado alto para las PYME que deberan gastar demasiados recursos para ello, sin garanta de un xito. Las redes neuronales representan una tecnologa demasiado compleja para adoptar en las PYME. Adems, en caso de una fluctuacin de mano de obra podran perder conocimiento y experiencia difcilmente obtenidos. Se puede observar que la industria en general no emplea tanto las redes neuronales. En resumen se puede decir que es por las siguientes razones: El uso de una red neuronal es verdaderamente compleja. No hay tanta ganancia respecto a los factores tolerancia en el error, adaptabilidad, habilidad para generalizacin y aprendizaje en vez de programacin como algunos informes sostienen. El esfuerzo para implementar redes neuronales es ms alto que para tcnicas convencionales. La capacidad de una red neuronal respecto a una aplicacin puede ser demostrado solamente mediante Factores de xito: Primero hay que buscar la cooperacin con otras empresas, con instituciones de investigacin y redes de colaboracin para beneficiarse del conocimiento y de la experiencias de ellos. La formacin de su personal tambin es importante. Pero el factor ms importante es: que el procesa o el fenmeno sea adecuado para la aplicacin de redes neuronales. Problemas sencillas pueden ser solucionados con medidas convencionales. Adems hacen falta los recursos. La empresa deber tener a gente a su disposicin que est familiarizado con el proceso de inters y con las redes neuronales. El equipo debera constar de personal motivado y dispuesto para retos. Se debern gastar suficientes recursos en la acumulacin de los datos para el entrenamiento y

procesar estos adecuadamente antes del entrenamiento. Perspectivas El potencial de las redes neuronales en aplicaciones industriales inmenso. Todava no todas las posibilidades son aprovechadas. El futuro de las redes neuronales no solamente est en su uso explcito, pero en la combinacin con otras tcnicas de la inteligencia artificial. La fusin con la Lgica Fuzzy como tcnicas NeuroFuzzes es considerado como tecnologa ms prometedor para aplicaciones procesales y de control.

6. Organizaciones dedicndose a la investigacin y el despliegue industrial de las redes neuronales

NEuroNet (Network of Excellence in Neural Networks) es una organizacin financiado por la Unin Europea y se encarga de la fomentacin de la aplicacin de redes neuronales y del intercambio de las experiencias entre usuarios y investigadores. http://www.kcl.ac.uk/neuronet IEEE Neural Networks Society es una subdivisin de IEEE encargndose de la coordinacin y la promocin de la investigacin y de la aplicacin de redes neuronales en los diferentes grupos de IEEE. http://ieee-nns.org European Neural Network Society (ENNS) es una asociacin de cientficos, ingenieros, estudiantes y otros queriendo aprender ms sobre el modelling y la aplicacin de redes neuronales. http://www.snn.kun.nl/enns

7. Referencias

Jussi Stader: Applying Neural Networks Barry Lennox, Gary A. Montague, Andy M. Frith, Chris Gent and Vic Bevan: Industrial Application of Neural Networks An Investigation Jukka Heikkonen, Jouka Lampinen: Building Industrial Applications with Neural Networks Trevor Clarkson: Applications of Neural Networks in Telecomunications Robert Suna, Karsten Berns: Neuropipe A neural network based system for pipeline inspection Karsten Berns: Requirements and use of neural networks for industrial applications I. Alarcn, P. Rodrguez-Marn et al.: Heterogenous integration architecture for intelligent control systems