Introduccin a las Redes Neuronales y su aplicacin a la Investigacin Astrofsica

Patricio Garca Bez pgarcia@ull.es

Patricio Garca Bez

Sumario
x Introduccin x Inspiracin

biolgica x Modelado Neuronal x Implementaciones x Aplicaciones x Grupo de trabajo x Futuro de las RNAs

Patricio Garca Bez

Redes Neuronales en la IA
Ramas de la Inteligencia Artificial en sus inicios: x Simblica-deductiva:
Sistemas formales de reglas y manipulacin simblica Rama ms conocida de la IA
x Conexionista:

Inspirada en las redes neuronales biolgicas Mtodos Inductivos: a partir de ejemplos

Ambas tratan de resolver problemas no algoritmicos a partir de la experiencia almacenada como conocimiento
Patricio Garca Bez 3

RNA como Modelo de Computacin

Conexionista vs. Von Neumann
Masivamente paralelo Datos y programa indiferenciable en las conexiones Solucin inducida por aprendizaje Impredicibilidad de resultados Gran tolerancia a fallos
Patricio Garca Bez

Arquitectura secuencial Separa claramente datos del programa en la memoria Solucin como algoritmo o programa introducido Resultados totalmente predecibles No tolera errores
4

reas de Trabajo
Procesamiento de Seales Anlisis de Datos Reconocimiento de Patrones Control Inteligencia Artificial Desarrollo de aplicaciones basadas en tcnicas conexionistas Construccin de modelos neuronales Proponer y validar modelos de funcionamiento de arquitecturas neuronales
5

Aplicaciones
Informtica Sicologa

Implementaciones Arquitectura y Teora de RN

Matemticas
Patricio Garca Bez

Neurofisiologa Fsica

Inspiracin biolgica
Entender el cerebro y emular su potencia
x Cerebro:

Gran velocidad de proceso Tratamiento de grandes cantidades de informacin procedentes de:

Los sentidos Memoria almacenada

Capacidad de tratar situaciones nuevas Capacidad de aprendizaje

Patricio Garca Bez

Inspiracin biolgica
x

Neuronas:
rbol dendrtico de entradas Un axn de salida Sobre de104 sinapsis Comunicacin mediante Potenciales de Accin (PA) Periodo refractario de 10-3 segundos entre PAs

Patricio Garca Bez

Inspiracin biolgica
x

Transmisin neuronal:
Impulso elctrico que viaja por el axn Liberacin de neurotransmisores Apertura/cierre de canales inicos Variacin potencial en dendrita Integracin de entradas en soma Si se supera umbral de disparo se genera un PA

Patricio Garca Bez

Inspiracin biolgica
x

Red Neuronal Biolgica:

de 1010 a 1011 neuronas 1014 sinapsis Organizacin por capas Organizacin por niveles:

Sistema Nervioso Central (SNC) Circuitos entre regiones Circuitos locales Neuronas rboles dendrticos Microcircuitos neuronales Sinapsis Canales inicos Patricio Garca Bez Molculas

Inspiracin biolgica
x

Caractersticas SNC:
Inclinacin a adquirir conocimiento desde la experiencia Conocimiento almacenado en conexiones sinpticas Gran plasticidad neuronal Comportamiento altamente no-lineal Alta tolerancia a fallos (muerte neuronal) Apto para reconocimiento, percepcin y control

Patricio Garca Bez

10

Modelado Neuronal
x Una

red neuronal artificial (RNA) es un sistema de procesamiento de informacin que tiene ciertas aptitudes en comn con las redes neuronales biolgicas:
El procesamiento de informacin ocurre en muchos elementos simples llamados neuronas. Las seales son transferidas entre neuronas a travs de enlaces de conexin. Cada conexin tiene un peso asociado, el cual, tpicamente, multiplica a la seal transmitida. Cada neurona aplica una funcin de activacin (usualmente no lineal) a su entrada de red (suma de entradas pesadas) para determinar su salida. Laurene Fausett

Patricio Garca Bez

11

Modelado Neuronal
x Enfoques:

Computacional:
Modelos eficientes, potentes y simples reas de aprendizaje inductivo y reconocimiento de patrones

Cognitivo:
Interesado por capacidades cognitivas de los modelos Centrados en representacin del conocimiento

Biocognitivo:
Premisa la plausibilidad biolgica

Psicofisiolgico:
Mecanismos naturales de procesos cognitivos reales
Patricio Garca Bez 12

Modelado Neuronal
x

Neurona Artificial:
Grupo de entradas (x) Pesos sinpticos (w) Funcin suma (net) Funcin de activacin (act) Una nica salida (y) Funcionamiento en modo aprendizaje o ejecucin

x1 x2

w1,j w2,j wn,j

funcin suma

funcin de activacin

netj(t)

xj(t)

xn

j
umbral (bias)

Patricio Garca Bez

13

Modelado Neuronal
x

Neurona Natural vs. Artificial:

Neurona = Unidad de proceso Conexiones sinpticas = Conexiones Pesadas Efectividad sinptica = Peso sinptico Exitatorio/Inhibitorio = Pesos + Efecto combinado de sinapsis = Funcin suma Activacin-> Ratio disparo = Funcin activacin -> salida

Patricio Garca Bez

14

Modelado Neuronal
x

Arquitecturas Neuronales:
Segn e/o/s
Nmero y tipo de entradas Elementos ocultos Elementos de salida
Capa de entrada Capa de salida

Monocapa feedforward

Segn conectividad entre capas

Feedforward (hacia adelante) Redes Recurrentes Estructuras Enrejadas (Lattice)

Multicapa feedforward

Capa de entrada

Capa oculta

Capa de salida

Multicapa feedforward parcialmente conectada

Capa oculta

Capa de salida

Patricio Garca Bez

15

Modelado Neuronal
x

Arquitecturas Neuronales:
Segn conexin entre capas
Totalmente conectados (full-conexin) Parcialmente conectados Conexin uno a uno
Recurrente con interconexiones laterales

Sincrona (actualizacin de valores)

Simultnea Aleatoria Segn orden topolgico
Entradas Salidas

Recurrente con neuronas ocultas

Patricio Garca Bez

16

Modelado Neuronal
x Aprendizaje:

Estimulacin de la RN por el entorno Cambios en la RN debido a estimulacin Nueva forma de responder debido a cambios de la estructura interna de la RN

Patricio Garca Bez

17

Modelado Neuronal
x Paradigmas

de aprendizaje:

Aprendizaje Supervizado Aprendizaje por Reforzamiento Aprendizaje Auto-organizado (No Supervizado) Precalculado o prefijado

Patricio Garca Bez

18

Modelado Neuronal
x Aprendizaje

supervizado:

Se presentan pares de patrones de entrada y salida deseada Pasos:

Fijar pesos aleatorios las conexiones Seleccionar par de entrenamiento Presentar patrn de entrada y calcular salida Calcular error o discrepancia con la salida deseada Aplicar regla de aprendizaje

Dudosa plausibilidad biolgica:

Requiere propagar informacin hacia atrs Requiere de instructor
Patricio Garca Bez 19

Modelado Neuronal
x Aprendizaje

no supervizado:

Se presentan slo patrones de entrada Basado en la redundancia en las entradas Aprendizaje extrae de los patrones:
Familiaridad con patrones tpicos o promedios del pasado Anlisis de las Componentes Principales Clustering Prototipos, correspondientes a las categorias existentes Codificacin Mapa de Caractersticas

Grandes plausibilidades biolgicas

Patricio Garca Bez 20

Modelado Neuronal
x Algoritmos

de aprendizaje ms comunes:

Perceptrn multicapa o Backpropagation (BPN)

Aprendizajes supervizados bajo correccin de error

Mapas Auto-organizados (SOM)

Aprendizajes competitivo no supervizados

Extractores de caractersticas (GHA ICA)

Aprendizajes hebbianos no supervizados

Patricio Garca Bez

21

Modelado Neuronal
x Propiedades

y Capacidades
Informacin Contextual Tolerancia a fallos Implementacin VLSI Uniformidad en el Anlisis y Diseo Analoga Neurobiolgica

Generalizacin Estructura altamente paralela No linealidad Mapeo de EntradaSalida Adaptabilidad Respuesta graduada

Patricio Garca Bez

22

Implementaciones
x Medio

biolgico vs. medio silicio

Velocidad:
Neuronas: 10-3 s., Puertas lgicas: 10-9 s.

Tamao:
Neuronas 5 6 rdenes de magnitud menores

Eficiencia energtica:
Cerebro: 10-16 J/op./s., mejores ordenadores: 10-6

Fan-In:
Promedio de 10.000 sinapsis por neurona, mucho mayor que en silicio

Patricio Garca Bez

23

Implementaciones
x Neurosimuladores:

Software:
Flexibles Econmicos

Hardware:
Eficientes

Patricio Garca Bez

24

Implementaciones
x

Tipos Neurosoftware:
Programacin directa Libreras Entornos de desarrollo

Caractersticas deseables:
Facilidad de uso Potencia Eficiente Extensibilidad

Patricio Garca Bez

25

Implementaciones
x

Neurohardware:
VLSI analgico Opto-Electrnicos FPGAs Neuro-Chips (VLSI Digital) Neuro-Tarjetas Mquinas paralelas de propsito general Biochips

Objetivo:
Acelerar fases de aprendizaje y ejecucin

Patricio Garca Bez

26

Implementaciones
x Biochips

Patricio Garca Bez

27

Aplicaciones
x Fases

de desarrollo:

Seleccin de la arquitectura neuronal Seleccin del conjunto de aprendizaje Seleccin del conjunto de validacin Fase de aprendizaje Fase de validacin OK?

Implantar en aplicacin

Patricio Garca Bez

28

Aplicaciones
x Tipos

de problemas abordables:

Asociacin Clasificacin de Patrones Prediccin Control Aproximacin Optimizacin

x En

general:

Difcil describir conocimiento/forma de resolverlos Se dispone de una gran cantidad de datos

Patricio Garca Bez 29

Problemas de Asociacin
NETalk (Sejnowski & Rosemberg):
A partir de textos escritos genera gonemas correspondientes. Mejoras durante aprendizaje

Tratamiento de imgenes:
Ruido placas matrculas Restitucin

Compresin de Imgenes:

Patricio Garca Bez

30

Problemas de Clasificacin de Patrones

Conteo de clulas:
Clasificacin de glbulos blancos

Inspeccin visual:

Seguimiento de pupila

Patricio Garca Bez

31

Problemas de Prediccin
Airline Marketing Tactician (AMT):
Monitoriza y recomienda la reserva de plazas

Neuralstocks:
Servico de predicciones financieras a corto plazo

Patricio Garca Bez

32

Problemas de Control
Control de robots:
Cinemtica inversa Dinmica

ALVINN:
Conduccin de vehculo

Patricio Garca Bez

33

Problemas de Aproximacin
Aproximacin de funciones utilizando RBFs

Problemas de Optimizacin
Optimizacin de rutas:
TSP

Patricio Garca Bez

34

Aplicaciones en Astronoma/Astrofsica
Reconocimiento de estrellas/galaxias Clasificacin espectral y morfolgica de estrellas/galaxias Estudios de superficies planetarias Estudio del campo magntico interplanetario Determinacin de parmetros en atmsferas estelares Clasificacin de poblaciones de enanas blancas
Neural Networks, 16 (2003)

Patricio Garca Bez

35

Aplicaciones en Astronoma/Astrofsica
Identificacin y caracterizacin de objetos: QSO's, galaxias IR ultraluminosas, fuente de Rayos Gamma Determinacin de desplazamientos fotomtricos al rojo Eliminacin de ruido en pixels Descomposicin de datos simulados multifrecuencia para la misin Planck Bsqueda de cmulos de galaxias
Neural Networks, 16 (2003)

Patricio Garca Bez

36

Aplicaciones en Astronoma/Astrofsica
Anlisis de datos recogidos por instrumentos de nueva generacin para astrofsica de alta energa:
Telescopio de neutrinos AUGER y ARGO Telescopio de rayos gamma Cherenkhov Interfermetro de ondas gravitacionales VIRGO Bsqueda de bosones Higgs

AstroNeural, paquete AstroMinnig: reduccin y anlisis de datos

Neural Networks, 16 (2003)

Patricio Garca Bez

37

Grupo de Trabajo
x Grupo

de Computacin Neuronal y Adaptativa y Neurociencia Computacional

Departamento de Estadstica, I. O. y Computacin, ULL I. U. de Ciencias y Tecnologas Ciberntica, ULPGC rea de Conocimiento: Ciencias de la Computacin e Inteligencia Artificial

x Lneas de trabajo Neurociencia Computacional y Cognicin Computacional: Comunicacin Neuronal;Aprendizaje y Memoria.Procesos y Estructuras Cognitivas/Perceptivas Teoras y Modelos Redes Neuronales Naturales y Artificiales: Diseo de Nuevos Modelos de RNAs Aplicacin de la Computacin Neuronal en Dominios Biomdicos, Clnicos y Medioambientales
Patricio Garca Bez 38

Grupo de Trabajo
x Campos aplicativos estudiados Procesamiento de Seales Neurofisiolgicas Identificacin de Espectros Luminescentes Agente de Catalogacin Automtica de Webs Sistema Automtico de Deteccin de Ataques Informticos Diagnstico de Enfermedades Neurodegenerativas
Mezcla
Espectrofotmetro de Luminescencia

Entradas
mli

..... xi ......

...... dl ........

Capa SOM
hl ...... zl ........

Capa de Holguras

upl gpq

Capa de Etiquetado

... vp

Analysis

Mapa de Rechazo
Capa de Tolerancias

2 1

Espectro
Preprocesado 2 1

Caractersticas Espectrales Mapa de SOM

Comparacin de Espectros (Capa SOM)

Identificador de Espectros (Capa de Etiquetado)

Etiquetado

Patricio Garca Bez

Comp. 1 Comp. 2 Comp. 3

39

Grupo de Trabajo
x Docencia Impartida en la ULL Introduccin a los Modelos de Computacin Conexionista 3er curso, Ing. Tcnica en Informtica de Sistemas, ETSII 30 a 40 alumnos http://soma.etsii.ull.es/imcc/ Introduccin a la Inteligencia Artificial 3er curso, ITI de Gestin/Sistemas 50 a 60 alumnos http://soma.etsii.ull.es/iia/ Modelos Conexionistas y Autmatas 5 curso, Ing. Informtica, ETSII 10 a 20 alumnos http://soma.etsii.ull.es/mcya/
Patricio Garca Bez 40

Futuro de las RNAs

Futuro prometedor, si nos seguimos acercando a las caractersticias de los organismos vivos:
Evolucin, Computacin Colectiva, Manejo del Conocimiento, ... Natural Computing => Soft Computing

Presente problemtico: dificultades de escalabilidad

Tal vez algunos parmetros de nuestros modelos son erroneos? Tal vez no disponemos de la suficiente potencia informtica? Tal vez nuestros modelos no han alcanzado la suficiente complejidad? Tal vez nos falta en nuestros modelos algn concepto fundamental?
Patricio Garca Bez 41