INTRODUCCIN A LAS REDES NEURONALES Y SU APLICACIN A LA INVESTIGACIN ASTROFSICA

By: Gong Yi-shan Sch. of Inf. Sci. & Eng., Shenyang Univ. of Technol., Shenyang, China Publicado en: Computer Science and Network Technology (ICCSNT), 2012 2nd International Conference on

SUMARIO
Introduccin Inspiracin biolgica Modelado Neuronal Implementaciones Ventajas y desventajas Aplicaciones Futuro de las RNAs Concluciones Trabajos futuros Referencias

REDES NEURONALES EN LA IA
Ramas de la Inteligencia Artificial en sus inicios: Simblica-deductiva:
Sistemas formales de reglas y manipulacin simblica Rama ms conocida de la IA

Conexionista:
Inspirada en las redes neuronales biolgicas Mtodos Inductivos: a partir de ejemplos

Ambas tratan de resolver problemas no algoritmicos a partir de la experiencia almacenada como conocimiento

INSPIRACIN BIOLGICA
Entender el cerebro y emular su potencia

Cerebro:
Gran

velocidad de proceso Tratamiento de grandes cantidades de informacin procedentes de:

Los

sentidos Memoria almacenada

Capacidad

de tratar situaciones nuevas Capacidad de aprendizaje

INSPIRACIN BIOLGICA

Transmisin neuronal:

Impulso elctrico que viaja por el axn Liberacin de neurotransmisores Apertura/cierre de canales inicos Variacin potencial en dendrita Integracin de entradas en soma Si se supera umbral de disparo se genera un PA

INSPIRACIN BIOLGICA

Red Neuronal Biolgica:

de 1010 a 1011 neuronas 1014 sinapsis Organizacin por capas Organizacin por niveles:

Sistema Nervioso Central (SNC) Circuitos entre regiones Circuitos locales Neuronas rboles dendrticos Microcircuitos neuronales Sinapsis Canales inicos Molculas

INSPIRACIN BIOLGICA

Caractersticas SNC:

Inclinacin a adquirir conocimiento desde la experiencia Conocimiento almacenado en conexiones sinpticas Gran plasticidad neuronal Comportamiento altamente no-lineal Alta tolerancia a fallos (muerte neuronal) Apto para reconocimiento, percepcin y control

MODELADO NEURONAL

Una red neuronal artificial (RNA) es un sistema de procesamiento de informacin que tiene ciertas aptitudes en comn con las redes neuronales biolgicas:

El procesamiento de informacin ocurre en muchos elementos simples llamados neuronas. Las seales son transferidas entre neuronas a travs de enlaces de conexin. Cada conexin tiene un peso asociado, el cual, tpicamente, multiplica a la seal transmitida. Cada neurona aplica una funcin de activacin (usualmente no lineal) a su entrada de red (suma de entradas pesadas) para determinar su salida.

Laurene Fausett

MODELADO NEURONAL

Enfoques:

Computacional:
Modelos

eficientes, potentes y simples reas de aprendizaje inductivo y reconocimiento de patrones

Cognitivo:
Interesado

por capacidades cognitivas de los

modelos Centrados en representacin del conocimiento

Biocognitivo:
Premisa

la plausibilidad biolgica naturales de procesos cognitivos

Psicofisiolgico:
Mecanismos

reales

MODELADO NEURONAL

Neurona Natural vs. Artificial:

Neurona = Unidad de proceso Conexiones sinpticas = Conexiones Pesadas Efectividad sinptica = Peso sinptico Exitatorio/Inhibitorio = Pesos + Efecto combinado de sinapsis = Funcin suma Activacin-> Ratio disparo = Funcin activacin -> salida

MODELADO NEURONAL
Neurona Artificial:
Grupo de entradas (x) Pesos sinpticos (w) Funcin suma (net) Funcin de activacin (act) Una nica salida (y) Funcionamiento en modo aprendizaje o ejecucin

MODELADO NEURONAL

Aprendizaje:
Estimulacin

de la RN por el entorno Cambios en la RN debido a estimulacin Nueva forma de responder debido a cambios de la estructura interna de la RN

MODELADO NEURONAL

Paradigmas de aprendizaje:
Aprendizaje

Supervizado Aprendizaje por Reforzamiento Aprendizaje Auto-organizado (No Supervizado) Precalculado o prefijado

MODELADO NEURONAL

Aprendizaje no supervizado:
Se presentan slo patrones de entrada Basado en la redundancia en las entradas Aprendizaje extrae de los patrones:

Familiaridad

con patrones tpicos o promedios del

pasado Anlisis de las Componentes Principales Clustering Prototipos, correspondientes a las categorias existentes Codificacin Mapa de Caractersticas

Grandes plausibilidades biolgicas

MODELADO NEURONAL

Algoritmos de aprendizaje ms comunes:

Perceptrn

multicapa o Backpropagation
supervizados bajo correccin de

(BPN)
Aprendizajes

error
Mapas

Auto-organizados (SOM)
competitivo no supervizados
hebbianos no supervizados

Aprendizajes

Extractores

de caractersticas (GHA ICA)

Aprendizajes

MODELADO NEURONAL
Propiedades

y Capacidades

Generalizacin Estructura altamente paralela No linealidad Mapeo de EntradaSalida Adaptabilidad Respuesta graduada

Informacin Contextual Tolerancia a fallos Implementacin VLSI Uniformidad en el Anlisis y Diseo Analoga Neurobiolgica

IMPLEMENTACIONES

Medio biolgico vs. medio silicio

Velocidad:
Neuronas:

10-3 s., Puertas lgicas: 10-9 s.

Tamao:
Neuronas

5 6 rdenes de magnitud menores

Eficiencia
Cerebro: 10-6

energtica:
10-16 J/op./s., mejores ordenadores:

Fan-In:
Promedio

de 10.000 sinapsis por neurona, mucho mayor que en silicio

IMPLEMENTACIONES

Neurosimuladores:
Software:
Flexibles Econmicos

Hardware:
Eficientes

IMPLEMENTACIONES

Tipos Neurosoftware:

Programacin directa Libreras Entornos de desarrollo

Caractersticas deseables:

Facilidad de uso Potencia Eficiente Extensibilidad

IMPLEMENTACIONES

Neurohardware:

VLSI analgico Opto-Electrnicos FPGAs Neuro-Chips (VLSI Digital) Neuro-Tarjetas Mquinas paralelas de propsito general Biochips Acelerar fases de aprendizaje y ejecucin

Objetivo:

IMPLEMENTACIONES

Biochips

APLICACIONES

Tipos de problemas abordables:

Asociacin Clasificacin de Patrones Prediccin Control Aproximacin Optimizacin

En general:
Difcil describir conocimiento/forma de resolverlos Se dispone de una gran cantidad de datos

PROBLEMAS DE PREDICCIN
Airline

Marketing Tactician

(AMT):
Monitoriza

y recomienda la reserva de plazas

Neuralstocks:
Servico

de predicciones financieras a corto plazo

PROBLEMAS DE CONTROL
Control

de

robots:
Cinemtica

inversa Dinmica

ALVINN:
Conduccin

de

vehculo

PROBLEMAS DE APROXIMACIN
Aproximacin

de funciones utilizando RBFs

Problemas de Optimizacin
Optimizacin de rutas:
TSP

VENTAJAS.

Ventajas de las RNA:

Aprendizaje adaptativo: lo necesario es aplicar un buen algoritmo y disponer de patrones (pares) de entrenamiento. Auto-organizacin => conduce a la generalizacin Tolerancia a fallos: las redes pueden aprender patrones que contienen ruido, distorsin o que estn incompletos. Operacin en tiempo real: procesan gran cantidad de datos en poco tiempo. Facilidad de insercin en tecnologa ya existente.

Desventajas Redes Neuronales

Algunas desventajas de las redes neuronales son : No se identifica claramente el mecanismo con el
cual han resuelto un problema.

No existe una metodologa que nos indique que

tipo de red debemos utilizar para resolver un problema especfico, ni cuantas neuronas debemos utilizar en la capa escondida, o si tenemos que utilizar ms de una capa escondida.

Modelo de Clasificacin incomprensible.

NEURAL NETWORK TOOLBOX

>> load house_dataset

La red backpropagation ms comunmente utilizada posee una capa oculta con 20 neuronas.

>> newff(houseInputs, houseTargets, 20);

La cantidad de neuronas de entrada tanto como la de salida quedan determinadas por las caractersticas del dataset.

>> net = train(net, houseInput, houseTargets)

NEURAL NETWORK TOOLBOX

NEURAL NETWORK TOOLBOX

El dataset es dividido aleatoriamente en tres conjuntos:

60%

de los datos se utilizan para entrenamiento. 20% de los datos se utilizan para validacin. 20% de los datos se utilizan para test.

El entrenamiento contina mientras se reduce el error de validacin. Esta es una tcnica muy utilizada para evitar el sobreentrenamiento.

NEURAL NETWORK TOOLBOX

Una vez entrenada la red, se la puede utilizar:

>> y = sim(net, p);

Para un conjunto de nuevos datos se espera un error similar al calculado para el conjunto de test.

Se puede mejorar la precisin de una red.

NEURAL NETWORK TOOLBOX

Se puede inicializar nuevamente la red para volver a entrenar:

>> net.IW{1, 1}(1:2, 1:2) -0.5815 0.2696 -0.2799 -0.4926 >> net = init(net); >> net.IW{1, 1}(1:2, 1:2) -0.0047 0.2063 0.4592 -0.4419

NEURAL NETWORK TOOLBOX

Una segunda estrategia es cambiar el nmero de capas y neuronas internas.

Se

puede agregar como cuarto argumento un arreglo con los nombres de las funciones transferencia a usar en cada capa.

Por ltimo, usar datos adicionales generalmente mejora el aprendizaje.

APLICACIONES EN ASTRONOMA/ASTROFSICA
Reconocimiento

de estrellas/galaxias Clasificacin espectral y morfolgica de estrellas/galaxias Estudios de superficies planetarias Estudio del campo magntico interplanetario Determinacin de parmetros en atmsferas estelares Clasificacin de poblaciones de enanas blancas
Neural

Networks, 16 (2003)

APLICACIONES EN ASTRONOMA/ASTROFSICA
Identificacin

y caracterizacin de objetos: QSO's, galaxias IR ultraluminosas, fuente de Rayos Gamma Determinacin de desplazamientos fotomtricos al rojo Eliminacin de ruido en pixels Descomposicin de datos simulados multifrecuencia para la misin Planck Bsqueda de cmulos de galaxias
Neural

Networks, 16 (2003)

APLICACIONES EN ASTRONOMA/ASTROFSICA
Anlisis

de datos recogidos por instrumentos de nueva generacin para astrofsica de alta energa:
Telescopio

de neutrinos AUGER y ARGO Telescopio de rayos gamma Cherenkhov Interfermetro de ondas gravitacionales VIRGO Bsqueda de bosones Higgs
AstroNeural,

paquete AstroMinnig: reduccin y anlisis de datos

Neural

Networks, 16 (2003)

CONCLUNIONES.

Al aplicar las redes neuronales el investigador no esta forzado a hacer un anlisis a priori de la serie de tiempo y de sus implicaciones, esto se convierte finalmente en la capacidad de hacer predicciones con precisiones aceptables obviando hasta cierto punto la teora de predicciones convencional. Al definir la topologa de la red, debemos tener cuidado en no sobreparametrizar la red; ya que, an cuando el error de ajuste dentro del conjunto de datos de entrenamiento tiende a reducirse a cero, el poder de extrapolacin de la red se reduce significativamente para datos fuera del conjunto de entrenamiento.

CONCLUCIONES PERSONALES.

El aprendizaje de sistemas neuronales directas tiene un proceso mediante el empleo del algoritmo de retropropagacin (backpropagation), realizando el ajuste de pesos entre las capas de la red. La construccin de las redes neuronales artificiales hace uso de metodologas de desarrollo de software. Las redes neuronales artificiales tienen un amplio campo de aplicaciones donde se requiera la solucin a problemas, desde actividades de investigacin hasta aplicaciones comerciales e industriales.

FUTURO DE LAS RNAS

Futuro prometedor, si nos seguimos acercando a las caractersticias de los organismos vivos:
Evolucin,

Computacin Colectiva, Manejo del Conocimiento, ... Natural Computing => Soft Computing

Presente problemtico: dificultades de escalabilidad

Tal

vez algunos parmetros de nuestros modelos son erroneos? Tal vez no disponemos de la suficiente potencia informtica? Tal vez nuestros modelos no han alcanzado la suficiente complejidad? Tal vez nos falta en nuestros modelos algn concepto fundamental?

TRABAJOS FUTUROS.-

Sistemas expertos y redes neuronales artificiales aplicadas a la espectroscopa ptica estelar: un anlisis comparativo

REFERENCIAS.

PL Grossman, A. Nerode y AP Ravn et al, Lecture Notes in Computer Science (sistemas hbridos), No.736, Nueva York, EE.UU.: Springer-Verlag, 1993. ZJ Chen, J. Wang y XY Yu et al, una abstraccin de los sistemas de control hbridos, In: Proc. De IEEE Singapur ICI, Vol.1, 2005.