I.

Neuronas Artificiales
y = f(x, w)

a.

Tipos

Existen de dos tipos, las cuales cumplen dos funciones: 1. Aproximaciones: Se trata de aproximar la funcin generadora (desconocida) de un cierto proceso mediante otra que mapee elementos del conjunto de variables de entrada pertinentes en otros del conjunto de variables de salida. Usualmente aqu se trata con valores continuos. Ejemplo: Estimaciones, prediccin, control, regresiones, etc. 2. Clasificacin: Se trata de aproximar una funcin que represente la probabilidad de pertenencia de un cierto objeto -caracterizado por un conjunto de variables de entrada, continuas o discretas- a una clase determinada (salida con valores discretos). Ejemplo: reconocimiento de caracteres. Se caracterizan por: 1. Un estado interno: activada (1) o desactivada (0). 2. Seales de entrada 3. Funciones de activacin y transferencia. Una Red Neuronal puede trabajar en dos modos: 1. Aprendizaje 1.1. Supervisado 1.2. No supervisado 2. Simulacin

II.

Modelo de McCulloch y Pitts (1943)

Con este modelo se puede construir cualquier funcin lgica (Booleana).

.

Funcin de activacin

()
Funcin de transferencia

Con pesos convenientemente determinados se podra simular cualquier computador digital. Si suponemos los pesos: , tenemos que: AND 0 0 1 0 OR 1 1 1 0

1 0 1 0

0 1 1 0

1 1 2 0

Dado que

, la salida estar dada por: ( ) { solucionamos nuestro problema.

Para el OR con un

y para el AND con un

Nota: La funcin XOR (o exclusivo) no se puede representar mediante este mtodo porque no es linealmente separable. Ver la figura a continuacin.

XOR

III.

Aprendizaje

Capacidad de una neurona (o red neuronal) para ajustar las conexiones (pesos) de modo de obtener una respuesta deseada o que satisfaga ciertos criterios.

a.

Regla de Hebb (1949)

Cuando una neurona i repetida y persistentemente excita a una neurona j algn proceso de crecimiento o metablico se produce en una o ambas neuronas de modo que la eficiencia de excitacin de i sobre j aumenta.

IV.

Redes Neuronales artificiales (RNA)

Consisten en un conjunto de neuronas interconectadas entre s Se caracterizan (completamente) por: 1. 2. 3. 4. Nmero de neuronas Arquitectura de interconexin Valor de los pesos Funciones de activacin y transferencia

Red Neuronal Simple

Las RNA pueden trabajar en dos modos: 1. Aprendizaje: adapta sus pesos; su arquitectura; sus funciones de activacin y transferencia 2. Reconocimiento o simulacin: se usa la RNA para procesar informacin Aprendizaje de RNA: 1. Supervisado (va ejemplos) 2. No-Supervisado

Aun no se como clasificar estas weas: Entrenamiento / Problema Memorias Asociativas Clasificacin Prediccin Interpolacin Cubanizacin Supervisado Hopfield Adaline-Perceptron MLP TDNN LVQ RBF LVQ (Learning Vector Quantization) No-Supervisado

Kohonen ART (Redes de resonancia adaptativa)

Tabla con algunas de las redes ms tpicas

Aun no se como clasificar estas weas: RNA Entrenada Memoria y procesadores interactan Paralelo y asncrono Tolerante fallas Conocimiento almacenado en forma adaptable Procesamiento anrquico Von Neumann Programada c/instrucciones No interactan Secuencial No Conocimiento almacenado en memoria localizable Procesamiento autocrtico
Tabla

V.

Ingeniera Neuronal: buenos modales

1. Tratamiento previo de los datos y anlisis del sistema 2. Creacin de la red 3. Validacin del modelo

Pasos: 1. Exhaustivo anlisis del sistema Nmero y tipo de variables de entrada y salida Cuestionar si es imprescindible usar un modelo neuronal Se cuentan con los datos (muestras) necesarias? 2. Pre Procesamiento Un modelo neuronal es de tipo caja negra Son modelos de interpolacin, nuca de extrapolacin que dependen fuertemente de la calidad (grado en que representan la realidad) y cantidad de los datos (muestras) disponibles. Las variables deben estn normalizadas cuando intervienen variables en diferentes magnitudes y unidades 3. Diseo del modelo neuronal Determinar: Numero de neuronas de entrada y de salida Numero de neuronas en la capa intermedia ( Se recomienda la siguiente proporcin. ( Dnde Nmero de pesos. Por otro lado sabemos que: ( ) ( ) Dnde: Nmero de neuronas en la capa de entradas, por ende, nmero de entradas. Nmero de neuronas en la capa de salida. Funciones de transferencia: Tpicamente sigmoidales

):

4. Entrenamiento Problemas:

a. Sesgo: se debe aumentar prudentemente el nmero de neuronas en capa oculta b. Sobre parametrizacin c. Sobre aprendizaje

Mtodos a. Validacin cruzada b. Parada temprana c. Regularizacin: se trata de agregar trminos a la funcin objetivo de tal manera que al minimizarla se penalice la cantidad de parmetros que tenga el modelo. d. Poda: se trata de agregar trminos a la funcin objetivo de tal manera que al minimizarla se penalice la cantidad de parmetros que tenga el modelo. 5. Generalizacin Hay dos mtodos tpicos: a. OSA: un paso adelante b. MPO: mltiples pasos adelantes

VI.

Metodologas de modelacin
1. Modelacin terica o fundamental Se usa teora aceptada por las ciencias que subyacen el fenmeno Caractersticas: Se requiere ayuda de expertos Fcilmente generalizable Comprensin del fenmeno o proceso

2. Modelacin emprica o experimental Observaciones directas > ecuaciones Solo informacin entrada-salida Mtodos de desarrollo: algortmicos, numerosos y diversos -> identificacin Modelos lineales de orden reducido No-generalizables 3. Modelacin combinada (descriptivos) Frecuentemente utilizada La estructura se define por modelacin terica Parmetros <- experimentacin

VII. Perceptron Mono-capa

Frank Rossenblat, 1957

Red de 3 capas, la ltima de ellas con funcin de transferencia de tipo umbral lgico diseada para tarea de clasificacin.

Luego,

B A A B B

VIII. Mtodos de optimizacin

1. Deterministas 1.1. Primer orden Trabajan con la primera derivada 1.2. Segundo orden Trabajan con la segunda derivada. Son ms lento en cada iteracin (respecto a los de primer orden), pero toman muchas menos iteraciones, lo cual a la larga los hace ms rpidos. Son ms difciles de implementar (programar) y requieren ms recursos. 2. Estocsticos

IX.

Bibliografa

R. Lippmann, 1987, An introduction to computing with neural nets, IEEE ASP, pp. 4-22. J. A. Freeman, D. Skapura, 1993, Redes Neuronales, Addison-Wesley J. Hertz, A. Krogh, R. Palmer, 1991, Introduction to the theory of neural computation, AddisonWesley. C. Bishop, 1995, Neural networks for pattern recognition, Clarendon Press, Oxford.