Redes Neuronales

Problemas del mundo real

1. Disponibilidad de un algoritmo eficiente y no demasiado complejo
2. Disponibilidad de Conocimientos Explcitos
Conjunto de Reglas
Pueden ser inciertas e imprecisas
Datos presentes
Pueden ser inciertos e imprecisos
3. Disponibilidad de Datos Histricos
Conjuntos de Ejemplos
Datos presentes

Pueden ser inciertos e imprecisos

Pueden ser inciertos e imprecisos

4. Disponibilidad de un Criterio de Bondad de Soluciones

Conjunto de soluciones candidatas
Criterio de Bondad de soluciones
5. Disponibilidad de un Criterio de Bondad de Programas
Conjunto de programas candidatos
Criterio de Bondad de programas
6. Combinaciones de las anteriores

Sistemas inteligentes

Son Sistemas que presentan, entre otras, tres caractersticas esenciales:

Capacidad de razonar, para obtener conclusiones y, de ah, tomar sus
propias decisiones
Capacidad de aprender, para adaptarse al entorno
Capacidad de interactuar con otros Sistemas Inteligentes, mediante la
comunicacin y el entendimiento

Clasificacin de los Sistemas Inteligentes Artificiales

Sistemas Basados en el Conocimiento:
Requieren disponibilidad de conocimientos
Inteligencia Artificial Tradicional

Razonamiento Bivaluado
Procesamiento Simblico
Sistemas Borrosos

Razonamiento Borroso
Procesamiento Numrico

Capacidad natural de Razonamiento

Aprendizaje Programado
Sistemas Expertos Tradicionales
Otras Aplicaciones

Sistemas Expertos Borrosos

Sistemas de Control

SISTEMAS NEURONALES
Requieren disponibilidad de datos histricos
Procesamiento Numrico

Capacidad natural de Aprendizaje

Por Entrenamiento y Operacin

Sistemas Evolutivos
Requieren disponibilidad de un criterio de bondad
de posibles soluciones o de posibles programas
Procesamiento Numrico

Capacidad Natural de Aprendizaje

por Evolucin

Redes Neuronales Artificiales

Simulacin abstracta de los sistemas nerviosos biolgicos, formados por
un conjunto de unidades llamadas "neuronas" o "nodos" conectadas unas
con otras. Estas conexiones tienen una gran semejanza con las dendritas
y los axones en los sistemas nerviosos biolgicos.

Clasificacin de los modelos de neuronas artificiales

1. Los modelos de tipo biolgico.
2. El modelo dirigido a aplicacin.

Redes Neuronales de tipo Biolgico

El cerebro humano contiene ms de cien mil millones (1011) de neuronas
y sinapsis en el sistema nervioso humano.
Las neuronas y las conexiones entre ellas (sinapsis) constituyen la clave
para el procesado de la informacin.
Las neuronas tienen una conectividad miles de veces superior que las
actuales supercomputadoras.
Las tres partes en una neurona son: el cuerpo de la neurona, las ramas de
extensin llamadas dendritas para recibir las entradas, y el axn que
lleva la salida de la neurona a las dendritas de otras neuronas.

La neurona biolgica

Soma: cuerpo de la neurona

Dendritas: filetes finos constituyendo las entradas a la neurona
Axon: filete grueso de salida
Sinapsis: conexiones entre el axon de una neurona con dendritas de otras.

Modelo general de neurona artificial

O = fs( fa ( fp ( I i , wi )))
Donde:

fp : funcin de propagacin
fa : funcin de activacin
fs : funcin de salida

Usualmente:
n

fp = wi I i + w0
i =1

fs : funcin identidad

Funciones activacin

fa ( x ) = 1 si x 0
0 si x < 0

fa ( x) = 1 si x 0
1 si x < 0
fa( x ) = sgn( x)

fa ( x ) =

1
1+ e x

Neurocomputacin

El modelo discreto de neurona artificial permite aproximar (aprender)

cualquier funcin booleana que permita la separacin lineal de las clases de
salida, en particular las funciones OR, AND y NOT.

Conexiones adecuadas de neuronas permiten aproximar cualquier

funcin booleana.

Permite desarrollar una Neurocomputacin.

Primeros modelos de redes neuronales

McCulloch y Pitts (1940) sugirieron la descripcin de una neurona
como un elemento lgico con umbral, con dos posibles estados, o sea
aplicando un modelo computacional binario de la actividad nerviosa.
Los canales de entrada a los mismos se denominaron axones de
aferentes y los de salida, axones emergentes.
Modelos posteriores: John von Neumann, Marvin Minsky, Frank
Rosenblatt, ...

Teora de McCulloch y Pitts

Estado del elemento: combinacin lineal de todas las seales de entrada
xi y se compara esta suma con el valor del umbral.
Excitacin de una neurona: representada en este modelo con valores 0
y 1 para la actividad del canal de salida.
Entradas excitatorias e inhibitorias provenientes de la neurona i, estn
modeladas por pesos sinpticos: wi = 1
Estado de activacin de la neurona i, est dado por el valor de ai.
La seal y de salida de una neurona est dada por:
y = ( wi . ai - s)
i

(donde es la Funcin de Heaviside, o sea: (x) = 1 para x 0 , (x) = 0

s = valor umbral)

para x < 0

McCulloch y Pitts
Demuestran que cualquier funcin lgica puede construirse con
una combinacin apropiada de elementos. (Compuertas AND y NOT)

Falencias importantes:
1. No explic cmo podan formarse las interconexiones
necesarias entre neuronas, en particular, cmo poda ocurrir el
aprendizaje.
2. Estas redes dependan del funcionamiento libre de error de
todas sus componentes y no presentaban la tolerancia a errores de
las redes neuronales biolgicas.

El psiclogo Hebb (1949)

La conexin entre dos neuronas es plstica y cambia
proporcionalmente a la correlacin de actividad entre la clula
presinptica y la postsinptica.

Formulacin matemtica:
wi = lrate . y(x) . ai
para el cambio de pesos sinpticos wi (i = 1, 2, ..., n) de una neurona
receptora de una entrada a = (a1, a2, ..., an)T cuando ai es la entrada de la
i-sima sinapsis. El valor de y(x) denota el estado de activacin de la
neurona y lrate > 0 es un parmetro de medida del tamao de un paso
simple de aprendizaje que comnmente se denomina: razn de
aprendizaje.
Las cantidades y(x) y wi tambin pueden considerarse continuas.

Marvin Minsky (1967)

Analiza el comportamiento de las redes neuronales y su capacidad
en comparacin con los autmatas finitos.
Ser necesario conocer:
- Descripcin de un autmata.
- Estado inicial o condicin inicial.
- Descripcin de las seales que le llegan del entorno.
El tiempo que ocurren slo en momentos discretos.
Una mquina puede mirarse como una caja negra con canales de
entrada y de salida.
El nmero de estados posibles es finito.

estmulo S(t) = s i
salida: R(t) = rj
Conceptos importantes:
historia del sistema
historias equivalentes

Equivalencia de Redes Neuronales con Mquinas de Estados Finitos

en general

Teorema:
Cada mquina de estados finitos es equivalente y puede ser
simulada por una red neuronal.

Observaciones McCulloch y Pitts:

1. La descripcin de estados previos no puede estar completamente
determinada por la descripcin del estado presente.
2. La actividad cclica hace imposible determinar exactamente cundo, en el
pasado, el estmulo inicial existi.

Frank Rosenblatt (1958)

Uno de los primeros modelos de red neuronal: perceptrn

Zona sensorial
(S)

Zona de asociacin
(A)
(Capa de entrada)

Zona de respuesta
(R)
(Capa de salida)

Problema del XOR.

x1
w1
f
w2
x2
1
f( u ) =
0

si u
si u <

Activacin del nodo de salida:

u = w1 x1 + w2 x2

Regla de Hebb
El aprendizaje ocurre en el sistema nervioso por refuerzo de las conexiones
entre dos neuronas que se activan en el mismo tiempo.
wij = lrate . a i aj
donde:

lrate = tasa de aprendizaje.

a i = estado de activacin de la neurona i.
aj = estado de activacin de la neurona j.
wij = incremento de peso de la conexin entre las neuronas i y j.

wij a j

ai = j

Regla Delta
Variante de la regla de Hebb, pues mantiene la intuicin bsica de que cada
cambio en el peso de la conexin ente dos neuronas depende de qu est
pasando entre las neuronas involucradas.
La red recibe un patrn de entrada, genera el patrn de salida actual usando los
pesos existentes (este paso es omitido por Hebb), compara este con el patrn
de salida deseado y cambia cada peso basado en la diferencia de cada unidad
de salida.
Es un ejemplo de aprendizaje supervisado.
Error para el patrn de salida entero: pss (pattern sum of squares)
pss = (d u a u ) 2
u

Cada peso de la red se modifica segn la relacin:

wij = lrate . (di - a i ) aj

Redes multicapa
Soluciona las limitaciones del perceptrn.
Inserta unidades escondidas entre las de entrada y las de salida.
La regla delta generalizada la propagacin de la medida del error que es
calculado en las unidades de salida hacia atrs en la red, por ejemplo por
backpropagation.

Solucionando el problema del XOR

y1 = fa ( w11 x1 + w12 x2 + w01 )

y 2 = fa ( w21 x1 + w22 x2 + w02 )
y3 = fa ( w31 y1 + w32 y 2 + w03 )

Back-error-propagation
Para una red de tres capas i, j, k:

wkj = k l u j k
n

k = f a (uk ) n (d k u k ) n
n

'

w ji = kl ui j
n

j = f a (u j ) n wkj k
n

'

La funcin de activacin debe ser continua

Fase forward:
Un patrn de entrada es presentado, calculndose todos los valores de activacin hasta las salidas
Fase backward:
A partir de los valores de activacin calculados y los valores deseados en las salidas, se actualizan
todos los pesos de acuerdo a las frmulas anteriores

BACK-ERROR-PROPAGATION

Ejemplo de clculo

w 211 = u 21 31
w 2 21 = u 22 31
w 212 = u 21 32
w 2 22 = u 22 32
w111 = u11 21

31 = f ' (u 31 )(d 31 u 31 )
32 = f ' (u 32 )(d 32 u32 )
21 = f ' (u21 )(w 211 31 + w 212 32 )

Finalmente:

w 111 = u11 f ' (u 21 )(w 211 f ' (u31 )(d 31 u 31 ) + w 212 f ' (u 32 )(d 32 u32 ))

Arquitecturas neuronales
Feedforward

u1
(estado 1)

Recurrente
u4
(estado 1)

u2
(estado 1)

Estado de la red:
u = (1,1,-1,1)
u3
(estado -1)

Propiedad de las redes neuronales no realimentadas

( f)( Arq)( W)(O j = f(I1, ...,Ii, ... In)

Modelos Discretos
Para ciertas arquitecturas y condiciones, son un aproximador universal de funciones
booleanas

Modelos Continuos
Para ciertas arquitecturas y condiciones, son un aproximador universal de funciones
reales

Caractersticas principales de los sistemas neuronales

Alto grado de Procesamiento Paralelo

Aprendizaje Off-Line y On-Line

Generalizacin: De nuevos ejemplos que difieran de los conocidos,

pueden producir la mejor salida acorde con stos

Robustez: Pueden continuar operando bien con daos parciales

Autoorganizacin: Pueden automodificarse para el cumplimiento de

ciertos objetivos

Aprendizaje neuronal

Tiene como objetivo la obtencin de una matriz de pesos W adecuada para

alcanzar el comportamiento deseado de la red

Para el cumplimiento de dicho objetivo utiliza un algoritmo de

aprendizaje que, en el caso del aprendizaje programado, se reduce a un
clculo

En el aprendizaje off-line, existen dos etapas o fases: Fase de

Entrenamiento y Fase de Verificacin

En el aprendizaje on-line, el aprendizaje contina durante la Fase de

Operacin

Formas de aprendizaje neuronal

Por Programacin

Off-Line
W se obtiene por clculo
Fase de clculo

Por Entrenamiento

Off-Line
W se obtiene por un algoritmo
Fase de entrenamiento y Fase de Verificacin

Supervisado
- Por Maestro

Por Correccin de Errores

Para por: error dado
y/o verificacin
y/o nmero de iteraciones

(2)

- Por Crtico

Por Refuerzo

(3)

Para por: verificacin

y/o nmero de iteraciones

(4)

No Supervisado
- Hebbiano

(1)

Por Operacin

Inspiracin biolgica
On-Line
El aprendizaje se realiza operando,
con cada nueva informacin

(5)

Propiedad global de los sistemas neuronales

Pattern mapping
Percepcin y Categorizacin

Clasificacin de Patrones

Reconocimiento de Patrones

(1)

- Aprendizaje Supervisado
- Memoria Heteroasociativa
Clustering

(2)

- Aprendizaje No Supervisado
- Memoria Heteroasociativa
Completamiento

de Patrones

(3)
- Aprendizaje Programado
- Memoria Autoasociativa

Clustering

Un cluster est constituido por un conjunto de patrones similares

Si hay n propiedades para describir los patrones, un cluster puede ser definido
como una regin en un espacio n-dimensional, conteniendo una relativamente
alta densidad de puntos, separada de otras regiones, por regiones conteniendo
una relativamente baja densidad de puntos
La identificacin de cuntos y cules clusters existen en un conjunto de datos,
exige definir una medida de similaridad

Condiciones de parada

Por Verificacin

El entrenamiento para cuando se verifican todos los patrones

utilizados

Por Mximo Nmero de Iteraciones