Al estudiar cmo el cerebro procesa informacin, la representa y aprende a hacerlo estamos intentado responder a una de las preguntas ms interesantes

que se puede plantear todo psiclogo: Qu es lo que hace que de la actividad de varios millones de neuronas (1011) emerja conducta inteligente? Las redes neurona les o modelos conexionistas constituyen, entre otras cosas, el primer intento que se ha hecho para responder a esta pregunta. Estos modelos estn ayudndonos a entender cmo la conducta inteligente puede emerger de la actividad cerebral. Mediante estos modelos se ha empezado ha establecer un puente entre los modelos desarrollados en la psicologa cognitiva y el funcionamiento cerebral. Se trata de entender cmo el procesamiento de informacin (transformacin de representaciones) se lleva a cabo en el cerebro. En trminos generales los modelos de redes neuronales estn inspirados en un sentido ms o menos amplio en conceptos derivados de la investigacin neurofisiolgica como veremos en las siguientes secciones. Constituyen modelos matemticos simplificados del funcionamiento cerebral. Antes de pasar a describir estos modelos sera conveniente hacer un pequea introduccin a lo que significa hacer un modelo matemtico.

Cuando se intenta describir, comprender, y predecir la conducta de un sistema fsico es muy conveniente, si ello es posible, construir un modelo matemtico. Con ello se consigue un conocimiento mucho ms profundo del sistema. El presupuesto que hay detrs de toda modelizacin matemtica es la de que los sistemas fsicos no tienen un comportamiento totalmente aleatorio. La experiencia nos muestra que en todos los sistemas hasta ahora estudiados existen una serie de regularidades aunque a veces sea difcil encontrarlas. Estas regularidades se pueden modelizar mediante ecuaciones matemticas dando lugar a lo que se denomina leyes. Tenemos regularidades en la cada libre de los cuerpos, en el movimiento de un pndulo o un fluido, en el movimiento de los planetas, etc. La comprensin de un sistema fsico aumenta considerablemente si podemos captar sus regularidades y expresarlas mediante ecuaciones matemticas. En lo que aqu nos concierne la pregunta que nos tendramos que hacer es si el tejido neuronal tambin est sometido a regularidades y por tanto puede ser descrito matemticamente. Cuando se intenta descubrir regularidades en un sistema fsico y modelizarlas matemticamente lo que se hace primero es identificar las partes ms importantes de este sistema. A partir de estudiar su comportamiento, se seleccionan aquellas partes que se consideran importantes y se determinan una serie de variables que representan alguna propiedad o medida de estas. La seleccin de estas variables viene determinada por la importancia que se cree que pueden tener para describir adecuadamente la conducta del sistema. Finalmente estas variables se relacionan mediante ecuaciones matemticas. Algunos ejemplos simples de todos conocidos son las leyes para la cada libre de objetos, la ley de Ohm y otras leyes para circuitos elctricos, la ley del pndulo, la segunda ecuacin de Newton, etc. Un hecho importante que a menudo se olvida es que todas estas leyes tienen origen en la observacin emprica y para su formulacin se ha seguido el camino anteriormente descrito.

Los modelos matemticos en neurofisiologa datan de principios de los aos cuarenta. El numero de variables posible es en principio enorme. La figura 1 nos presenta un breve resumen de los

@ Conductance
+----

Change

+
Synaptic + Potential +

+ +

Figura 1. Breve resumen de los principales mecanismos bioqumicos sinapsis qumica.

que se han identificado en una

La primera tarea en el proceso de modelizacin consiste en identificar aquellos fenmenos o estructuras que son tericamente relevantes. Hemos de tener en cuenta que las cuestiones que nos interesa comprender del funcionamiento cerebral son las relativas a cmo el cerebro procesa y representa informacin. Tambin nos interesan los aspectos relacionados con el aprendizaje. Partiendo de la observacin del comportamiento neuronal (mediante la colocacin de electrodos, la observacin microscpica etc.), se han llegado a determinar una serie de estructuras celulares y fenmenos qumicos cuyo comportamiento e interrelacin esta relacionado con los fenmenos de representacin, procesamiento y aprendizaje. Tambin, partiendo a si mimo de la observacin emprica, se ha visto que, al menos en una primera aproximacin, esta relaciones podan modelizarse matemticamente. Seguramente algunos de los fenmenos que aparecen en la figura 1 no tienen una relacin directa con el procesamiento y la representacin de informacin. Algunos pueden jugar un papel de soporte a otros fenmenos que si tienen importancia mientras que otros pueden jugar un papel no relacionado con los fenmenos que queremos estudiar (soporte metablico etc.). Los modelos actuales de redes neuronales representan una simplificacin considerable del funcionamiento de una neurona real. El numero de variables que se ha seleccionado es muy reducido pero a pesar de esta simplificacin constituyen una primera forma de empezar a comprender el funcionamiento del cerebro como sistema de cmputo. Hay todava una gran cantidad de cosas que no sabemos acerca de cmo el cerebro computa y representa informacin. A medida que su conocimiento avance tendremos una ms amplia y mejor comprensin de lo que significa computar y representar.

En los captulos anteriores hemos visto la importancia de las representaciones mentales para la realizacin de cualquier actividad inteligente. En este seccin intentaremos responder a la cuestin de cmo el cerebro representa informacin. De entre todos los fenmenos bioqumicos y elctricos que tiene lugar en una clula neuronal (ver figura 1) y que veamos en la seccin anterior hemos de seleccionar aquellos que estn relacionados con el fenmeno de la representacin. Existe un acuerdo bastante generalizado en torno a que el fenmeno que mejor explica el cmo la informacin se representa en el cerebro es el nivel de activacin de las neuronas (el numero de impulsos que se emiten). Podemos distinguir dos tipos de representaciones: las localistas y las distribuidas. En las denominadas representaciones localistas la activacin de un solo nodo de la red constituira una representacin de un objeto, concepto, palabra, etc .. En las representaciones distribuidas un hecho u objeto quedara representado no por una unidad sino por varias. El nmero puede llegar a ser muy grande. La hiptesis de que la variable nivel de activacin es la variable adecuada a la hora de entender cmo el cerebro representa informacin parece estar bien fundamentada. Numerosos experimentos realizados en los ltimos aos confirman esta hiptesis. Examinaremos algunos de ellos a continuacin. En el capitulo introductorio ya vimos que en el lbulo infratemporal existen neuronas que representan caras. El que existan neuronas que representen caras es un hecho que deducimos de la evidencia emprica proporcionada por una cantidad considerable de experimentos. En estos experimentos se tienen instalados en el lbulo infratemporal de un mono u otro animal (gatos por lo general) una serie de electrodos que registran la actividad de neuronas de esta rea. Si se presenta visualmente una fotografa de una cara (la de un humano u otro mono) se constata que existen unas determinadas neuronas que se activan. Estas mismas neuronas estn inhibidas cuando lo que se

presenta es otro objeto, como una mano o un cepillo. Por lo que se sabe, lo que fundamentalmente cambia en estas neuronas ante la presentacin de una cara es su nivel de activacin. Otras variables no muestran cambios o muestran un tipo de cambio aleatorio. Por eso se concluye que la variable que nos explica cmo el cerebro representa informacin sera el nivel de activacin de las neuronas. Otros experimentos realizados sobre la representacin de olores confirman tambin la hiptesis anterior. Estos experimentos se han echo con mamferos (por ejemplo con conejos). En ellos se observa que cada olor genera un patrn de activacin neuronal determinado el cual se distribuye a lo largo de todo el bulbo olfatorio. Existe un patrn de activacin claramente identificable para cada tipo de olor. Se ha observado es que estos patrones son relativamente estables. A lo largo de un perodo de tiempo, siempre que se presenta un olor determinado aparece el mismo patrn de activacin. Tambin se ha observado que estos patrones evolucionan, aunque lentamente, con la experiencia, es decir, con el aprendizaje. Lo que se conoce del cortex visual es otro claro ejemplo que confirma el hecho de que la variable interesante a la hora de entender cmo el cerebro representa la informacin es el nivel de activacin de las neuronas. Como se sabe el cortex visual se halla dividido en una serie de reas cada una de ellas especializada en un tipo de informacin: El rea 3 esta especializada en la forma y en el movimiento asociado a la forma. El rea 4 esta asociada al color. El rea 5 esta asociada al movimiento. A ms a ms en cada una de estas reas existen neuronas 'especializadas' en procesar y representar diferentes rasgos, como la inclinacin de lneas (el ngulo que forma la lnea con la horizontal), el tamao de las lneas, etc. En le caso del movimiento existen neuronas que detectan determinada direccin del movimiento (solo se activan cuando en el campo visual hay un objeto movindose en una determinada direccin). Otras se especializan en la velocidad del movimiento etc. De esta forma un objeto queda representado como un patrn de activacin a lo largo de las neuronas del cortex visual. En este patrn de activacin podemos distinguir neuronas que representan colores, sombreados, inclinaciones, tamaos, direccin del movimiento o velocidad. La figura 2 nos muestra las propiedades del campo receptivo de una clula simple en el cortex visual. El campo receptivo tiene una estrecha rea central excitatoria, flanqueada por dos reas simtricas inhibitorias. El estmulo que genera un mayor nivel de activacin para esta neurona, es una barra de luz orientada verticalmente que est colocada en el centro del campo receptivo. Otras orientaciones son menos efectivas a la hora de excitar a la neurona. Como se observa, un punto de luz es mucho menos efectivo que la barra tanto para inhibir como para excitar. La figura 3 nos muestra cmo una clula compleja responde a distintas longitudes de una barra de luz. En la figura 3b aparece la respuesta de una clula de las denominadas end-stopped. En el caso de la codificacin (representacin) de movimientos, tenemos de nuevo una confirmacin de que la variable nivel de activacin, juega un papel importante a la hora de entender cmo el cerebro representa informacin. Los estudios de David L. Sparks y sus colaboradores as lo demuestran. En su intento de averiguar cmo el cerebro de un mono instruye a sus ojos en cmo deben moverse, estos investigadores descubrieron que el movimiento requerido es codificado por una poblacin de neuronas cada una de las cuales representa un movimiento algo diferente. El movimiento que finalmente el ojo acaba haciendo corresponde al promedio de los movimientos codificados por las clulas que estn activas.

Para tratar con representaciones distribuidas nos sern muy tiles los vectores. Un vector es sencillamente una conjunto ordenado de valores numricos. Mediante un vector podremos representar las activaciones de un determinado conjunto de neuronas formando lo que se denomina vector de activacin.

.+
b~

c~
d~

g*
h~I

-D- ~I f-t- -J-I_1

3 sec

Figura

t Propiedades

del campo receptivo de una clula simple del cortex visual.

Propondremos un ejemplo sencillo para aclarar el concepto de representacin distribuida. Un modelo sencillo de representacin distribuida lo constituye una propuesta de cmo se pueden representar caras. La propuesta no pretende ser fisiolgicamente plausible, sin embargo la examinaremos porque es muy ilustrativa. La figura 4b nos muestra un circuito neuronal en el que supondremos que las tres neuronas output estn representando caras. La figura 4a nos muestra el denominado espacio representacional o espacio de estados de las tres neuronas. La primera neurona representa la distancia entre los ojos, la segunda la amplitud de la nariz y la tercera el grueso de los labios. Como hemos dicho un vector es una lista de valores numricos con un orden. Numeraremos las tres neuronas tal como se establece en la figura 4b. Para determinar el vector de activacin de las tres neuronas de la figura 4b, podemos considerar que el primer elemento del vector se corresponda con la activacin de la neurona nmero 1, el segundo con la activacin de la neurona nmero 2 y as sucesivamente. Supongamos, que como respuesta a el hecho de contemplar una determinada cara, emerje en el circuito de la figura 4b el siguiente patrn (.5, .1, .9). Qu caracteristicas tiene esta cara? La activacin 0.5 de la primera neurona nos dice que la distancia entre los ojos es intermedia. La activacin 0.1 de la segunda neurona nos dice que es una nariz 'afilada'. Finalmente, la activacin 0.9 de la tercera neurona nos dice que la imagen de la cara que se esta contemplando tiene los labios muy gruesos. El termino patrn de activacin es sinnimo de veetor de activacin pero es de uso ms frecuente. Si las neuronas pueden tener cualquier nivel de activacin (situado entre un valor mximo y uno mnimo), el nmero de patrones de activacin que pueden emerger en un determinado grupo de neuronas es en principio infinito. EJERCICIO 14: Qu patrn de activacin emergera en estas tres neuronas si se estuviera contemplando una cara que tuviera los tres rasgos en sus valores mximos? Qu patrn emergera si los rasgos tuvieran sus valores mnimos? Cual si la distancia entre ojos fuera mxima, medio el grueso de los labios y media la amplitud de la nariz? EJERCICIO 15: Cuales son las ventajas de la representacin vectorial? Podramos representar caras mediante proposiciones con la misma eficacia? Podemos considerar cada patrn de activacin como una representacin. representacin es conocido como representacin distribuida. Recordar que este tipo de

EJERCICIO 10: Qu variable es las ms interesante a la hora de entender cmo el cerebro representa informacin? a. b. c. d. La eficacia de la sinapsis. La concentracin de neurotransmisores. El nivel de activacin de las neuronas. El netinput a la neurona.

EJERCICIO 11: En el ejemplo que hemos puesto de la representacin de caras Una cara tienen representacin distribuida o localista? y el tamao de la nariz o la distancia entre los ojos? EJERCICIO 12: En el caso de la representacin representacin localista o distribuida? de olores en el bulbo oIfativo tenemos una

EJERCICIO 13: En el caso de la representacin de movimientos del ojo (estudios de L. Sparks) en el cortex motor tenemos una representacin localista o distribuida?

Figura 4. En A se nos muestra en un esquema simplificado cmo podramos representar una cara en forma de patrones de activacin. En B tenemos un posible circuito neuronal procesador de este tipo de caras.

En el capitulo introductorio veamos que el procesamiento de representaciones implica en general transformacin o recodificacin. Esto es, un proceso transforma un tipo de representaciones en otro tipo de representaciones. Algunos sistemas fsicos como un sacacorchos o un termostato no requieren, para entender su funcionamiento, que se recurra a la nocin de cmputo y representacin. Otros como un ordenador o un cerebro requieren para entender su funcionamiento, explicaciones en trminos de representaciones y procesos. Esta es la denominada hiptesis computacional. Para considerar a un cerebro como un sistema de cmputo podemos suponer que ha evolucionado de tal forma que sus estados internos representan el mundo (por extensin tambin representa el cuerpo al que pertenece). Las transiciones entre estados internos (debido a las interacciones causales entre sus distintos componentes) realizan computaciones, es decir, transforman unas representaciones (estados) en otras. Consideremos las neuronas en el cortex parietal. Los circuitos neuronales de esta parte del cerebro pueden concebirse como circuitos que computan coordenadas cuyo origen es la cabeza. Computar coordenadas es clave para que el organismo pueda situarse y orientarse en el espacio. El input a estos circuitos lo constituyen la posicin de los estmulos en la retina y la posicin del glbulo ocular. Es decir, el conjunto de neuronas input de este circuito neuronal, representa la posicin de los estmulos en la retina y la posicin de los glbulos oculares. El conjunto de neuronas output representa las coordenadas de los objetos de la escena visual. Estas coordenadas, como hemos dicho, tienen su origen en la cabeza. Lo que hace este circuito neuronal es 'computar' las coordenadas para cada nueva situacin representada en el conjunto input. Esta red neuronal procesa informacin transformado una representacin, la que emerge en el conjunto de neuronas input, en otra representacin, la que emerge en el conjunto de neuronas output y que representa las coordenadas cuyo centro es la cabeza. Otro ejemplo sencillo lo constituye el reflejo vestbulo-ocular. La funcin de este reflejo consiste en mantener la imagen que se esta contemplando estable en la retina aunque la cabeza este realizando movimientos. Para compensar los movimientos que hace la cabeza, los glbulos oculares han de realizar un movimiento compensatorio inverso. Se ha demostrado que los patrones de activacin que emergen en determinadas reas del cortex motor representan la posicin del glbulo ocular. Si el patrn se modifica, el glbulo ocular cambia de posicin. Existe un patrn determinado para cada posicin del glbulo ocular. Qu ha de hacer el circuito neuronal que implemente el reflejo vestbuloocular? Ha de modificar el patrn de activacin que representa la posicin del glbulo ocular para que el movimiento compensatorio tenga lugar. Para saber que tipo de movimiento ha de hacer el ojo hemos de saber que tipo de movimiento ha hecho la cabeza. Sin saber que movimientos realiza la cabeza es difcil poder inferir que tipo de movimientos compensatorios ha de realizar el ojo. Parece lgico entonces que el input al circuito neuronal que implementa este reflejo ha de representar el movimiento que realiza la cabeza. En el ncleo vestibular, una rea cerebral prxima al odo interno, aparecen patrones de activacin que, se ha demostrado, representan el vector velocidad de los movimientos que realiza la cabeza. El vector velocidad representa la magnitud y la orientacin de la velocidad del movimiento. Los canales semicirculares del odo interno son los que proporcionan la informacin inicial. Ahora ya tenemos descrito el input y el output de este circuito. Lo que nos queda por ver es cmo este circuito transforma la representacin inicial (movimiento de la cabeza) en la representacin final (posicin del globo ocular). El conocer que determinadas neuronas tienen un tipo de respuesta que modifica la respuesta de otras neuronas puede ser til para comprobar la hiptesis de que el cerebro es un sistema de cmputo, pero este conocimiento por si solo no nos dice nada del rol que cumplen determinadas neuronas en el

control de la conducta (capacidad visual, reflejos etc.). Necesitamos para ello, saber qu es lo que representan los estados de las neuronas y cmo estos estados pueden ser transformados, mediante las interacciones neuronales, en otros estados que a su vez tenemos que saber que representan. Cmo se transforman los estados de las neuronas? Es decir, Cmo transforma representaciones el cerebro? La modelizacin matemtica que hacemos de una red neuronal tienen como objetivo precisamente responder a estas preguntas. En la seccin siguiente lo veremos con detalle. S.l.-LA PROPAGACION MATEMA TICA. DE ACTIVACION EN UNA RED NEURONAL: MODELIZACION

Desde de un punto de vista matemtico una red neuronal puede definirse como un conjunto de nodos (neuronas) los cuales estn unidos entre si por nexos o conexiones (axones) que tiene asociados unos pesos (eficacia de las sinapsis). Asociadas a las neuronas y a las sinapsis existen un cierto nmero de variables y unas determinadas ecuaciones que relacionan entre si estas variables. El nmero y tipo de variables y ecuaciones varia en cada modelo pero podemos considerar las siguientes como las ms estandart: 1. Una variable activacin a(i) (nivel de activacin de la neurona o simplemente activacin de la neurona) y una variable 'bias' u(i) (umbral de activacin) asociadas a cada nodo o neurona. 2. Una variable peso w (i,j) (fuerza de la conexin o grado de eficacia de la sinapsis) asociada a cada conexin. 3. Una variable netinput asociada a cada neurona que se relaciona con las variables mediante la ecuacin: anteriores

4. Una funcin denominada funcin de activacin, que relaciona la variable netinput con la variable activacin de una misma neurona.

Un elemento importante en la modelizacin de una red neuronal es su arquitectura. Las neuronas se disponen en capas con diversos patrones de conectividad intra e inter capa. Distinguiremos en primer lugar dos conjuntos de neuronas: 1.- El conjunto input es aquel conjunto de neuronas que recibe 'estimulacin' exterior a la red (en ltimo termino tendramos los input sensoriales). de alguna fuente

2.- El conjunto output es aquel que proporciona una determinada respuesta la cual sirve como input a otras redes (en ltimo termino sera una respuesta motora). La forma que tienen de conectarse unas neuronas con otras determina la arquitectura Distinguiremos tres tipos de arquitecturas: de la red.

tipo de arquitectura se puede distinguir claramente una organizacin en capas. Al conjunto de neuronas input y output se les denomina capa input y capa output respectivamente. Las capas intermedias se las denomina capas ocultas. Por razones histricas se denomina perceptrn a la red feedforward que contiene una sola capa de conexiones. A las redes feedforward que contienen ms de una capa de conexiones se las denomina perceptrn multicapa o redes feedforward multicapa. Arquitectura recurrente: Existen conexiones en todas las direcciones. Si la recurrencia es total, todas las neuronas estarn conectadas con todas. No existe organizacin y por tanto no se pueden distinguir capas. Arquitectura feedforward. hbrida: Es una arquitectura que contiene partes recurrentes
y partes

La distincin entre estos tipos de arquitecturas es importante porque la modelizacin matemtica es diferente en cada caso.

Supongamos que estamos interesados en estudiar determinados circuitos neuronales. Supondremos que las ecuaciones (1) y (2) que hemos visto anteriormente, describen adecuadamente el comportamiento de los circuitos que estamos estudiando. Para simplificar tambin supondremos que ti =net y que por tanto, las ecuaciones (1) y (2) pueden quedar reducidas a una sola ecuacin:

Finalmente y tambin para simplificar prescindiremos del umbral u, supondremos que es cero. Estas suposiciones son validas para todos los ejercicios de esta seccin.

EJERCICIO 100: La eficacia de una sinapsis se definira como la capacidad que tiene una sinapsis de modificar el estado de su neurona postsinptica. Supongamos un circuito con solo dos neuronas como el de la figura 7. Supondremos que los pesos (las eficacias de las sinapsis) son estables al menos durante un cierto tiempo. Aceptaremos que estudios anteriores han demostrado que el circuito se comporta de acuerdo con la ecuacin (3). Supongamos que tenemos un electrodo colocado en cada una de las neuronas. En un corto perodo de tiempo observamos las activaciones que se muestran en la tabla 3.

Cmo podramos medir el grado de eficacia de cada una de las sinapsis del circuito de la figura 8? Imaginar un posible experimento en el laboratorio para poder medirla. EJERCICIO 103: Supongamos de nuevo el circuito de la figura 7. Al igual que en los ejercicios anteriores supondremos que los pesos (las eficacias de las sinapsis) son estables y que no evolucionan al menos durante un cierto tiempo Cmo podramos comprobar que el circuito se comporta de acuerdo con la ecuacin 3?

La funcin de activacin puede ser de diversos tipos pero ha de ser no lineal si queremos disponer de redes con una considerable capacidad de cmputo. En clase hemos especificado algunos de los tipos ms importantes (sigmoide, semilineal, umbral, sinus etc.). En el cuadernillo de practicas se definen de nuevo y se proponen algunos ejercicios. Los ejercicios estn todos resueltos.

Ayuda: suponer que disponemos de mtodos de registro (electrodos etc.) que nos permiten en cada momento conocer el netinput a dicha neurona y su nivel de activacin.

8.- REDES FEEDFORWARD: ACTIV ACIN?

CMO

SE

MODELIZA

LA

PROPAGACIN

DE

LA

Las ecuaciones (1) y (2) que hemos visto en el apartado anterior nos sirven para modelizar propagacin de activacin. En clase hemos visto con algn detalle como se re liza este proceso.

la

Nota para los ejercicios: A la accin de estimular las neuronas de la capa input con un patrn de activacin se la denomina presentar un patrn.

Supongamos el circuito de la figura 8. La neurona output recibe activacin de otras tres neuronas input (neuronas 1, 2, 3). Supongamos que, en un momento determinado, conocemos las activaciones de estas tres neuronas (al' az, a3) Y el valor de los pesos (la eficacia de las sinapsis) de las conexiones respectivas que las unen (W41 W42, W43). Cual ser la activacin de la neurona 4 una vez la activacin se ha propagado? Segn hemos visto, mediante las ecuaciones (1) y (2) de la seccin anterior y con los datos anteriores, podemos determinar el nivel de activacin de la neurona 4 (a4). En clase veremos como es muy fcil obtener este valor y realizaremos algunos ejercicios ms. En el cuadernillo de practicas se proponen nuevos ejercicios. Todos ellos estn resueltos. Las ecuaciones que acabamos de ver y que describen como se propaga activacin de unas neuronas a otras son las que explicaran cmo el cerebro procesa informacin. En general se supone que, en estas ecuaciones, las funciones de activacin son fijas para cada neurona y no varan con el tiempo.

La respuesta a la pregunta cmo el cerebro procesa informacin? tienen ahora una primera respuesta. Segn se deduce de estas ecuaciones los pesos de las conexiones han de tener valores tales que dada determinado patrn de activacin en el input el circuito neuronal hace que emerja (hay una transformacin) el patrn adecuado en el output. Hay que tener en cuenta que esta formulacin es una primera aproximacin y que seguramente, la intensa investigacin que se esta llevando en este campo har que, en los prximos aos, se propongan nuevas variables y modificaciones a las ecuaciones anteriores. La presupuestos de partida, sin embargo, seguramente se mantendrn: el cerebro transforma representaciones mediante una serie de operaciones que se realizan a nivel del cuerpo celular de las neuronas y en las sinapsis. Estas transformaciones pueden ser modelizadas matemticamente. Este es un hecho confirmado por una gran numero de investigaciones realizadas en el campo de la neurofisiologa.

Supongamos un circuito neuronal feedforward con una sola capa de pesos, con 4 unidades input y 4 unidades output. Supongamos que las activaciones de las neuronas input de este circuito representan olores y supongamos que las activaciones de las neuronas output representan imgenes.

(22a) ROSA (22b) HIERBA CORTADA (22c) RATON

a=O; a=0; a3=1. a=l; a=0; a3=0. a=O; a=l; a3=0.

(23a) ROSA (23b) HIERBA CORTADA (23c) RATO N

al =0; a=0; a3 = 1. al = 1; a= 1; a3 = 1. a = 1; a= 1; a3=0.

Supondremos que este circuito ha aprendido a asociar estas imgenes con los respectivos olores. De forma que si presentamos un olor en ausencia de la imagen respectiva, emerge en el output la representacin de la imagen que corresponde al olor representado en el input. Cuales han de ser los valores de los pesos de este circuito neuronal para que se produzcan las asociaciones correctas entre olores e imgenes? Supongamos que en el input a este circuito (cortex visual) se genera el patrn de activacion indicado

en (24).
(24) a=l; a=0; a3=1.

c.-Qu representan motor?

los patrones de activacin en el rea vestibular y en el cortex

En la seccin anterior y en clase nos hemos extendido, dbamos la respuesta a la pregunta Cmo puede una red neuronal computar alguna cosa? Cmo computa el cerebro? Sintetizar una respuesta.

Describir brevemente una posible aplicacin de las redes neuronales en el campo del diagnostico (por ejemplo diabetes, cncer de mama, divorcio, etc.) Qu colocaramos en el input? Qu en el ouput? De donde sacaramos los patrones para entrenar?

Este apartado es una sisntesis de 10 que vimos en clase. En le cuadernillo de practicas tambien se amplian algunos de los conceptos que aqui aparecen.

(1a).La red neuronal es estimulada por el medio en el que est situada. (1b). Ocurren una serie de cambios en la estructura interna de la red neuronal como resultado de esta estimulacin. (1c). La red neuronal, como consecuencia de estos cambios, responder, de ahora en adelante, de manera distinta a los estmulos del medio. Existe un acuerdo, bastante generalizado entre los neurofisilogos, en que la variable la hora de entender el proceso de aprendizaje es la eficacia de la sinapsis. interesante a

Aprendizaje asociativo: En este caso la red neuronal aprende a producir un patrn determinado en el conjunto de neuronas output siempre que aparece un determinado patrn en el conjunto de neuronas input. La red aprende a asociar pares (input-output) de patrones de activacin. Aprendizaje autoasociativo: La red aprende a asociar los diferentes patrones consigo mismos. En este caso la tarea que realiza la red es la de completar patrones. El input consiste en un fragmento cualquiera de un patrn ya conocido por la red o un patrn deformado. Teniendo este patrn como input la red reconstruye el patrn completo original.

-Regla de Hebb. -Delta rule.

l-lnicializar los pesos a cero. 2- Para cada par de vectores input-output realizar las etapas 2 a 4. 3-Presentar el patrn input (cada unidad input adquiere el nivel de activacin correspondiente) . 4-Presentar el patrn output. S-Ajustar los pesos de las conexiones de acuerdo con la regla de Hebb.

La regla de Hebb nos dice que los pesos de las conexiones varan proporcionalmente la activacin de la neurona presinptica por la actividad de la neurona postsinptica. La regla de Hebb es una de las primeras neurofisilogo Donald O. Hebb. que se propuso. Tiene este nombre

al producto de

en honor del

"Cuando un axn de una clula A est a punto de excitar a la clula B y repetidamente o persistentemente toma parte en su activacin, algn proceso de crecimiento o algn cambio metablico tiene lugar en una de las dos clulas o en ambas de tal forma que la eficiencia de la clula A, como una de las clulas que activan B, aumenta." (Hebb (1949)"La Organizacin de la Conducta" pag 62).

1.- Si dos neuronas en cada lado de una sinapsis se activan simultneamente (sincrnicamente), la fuerza (la eficacia) de dicha sinapsis se incrementa selectivamente. 2.- Si dos neuronas en cada lado de un sinapsis se activan asincrnicamente, se debilita o desaparece. dicha sinapsis

l.-Es local. (depende de variables que se relacionan con estructuras muy prximas a la sinapsis considerada)

3.- Utiliza un mecanismo fuertemente interactivo para aumentar la eficiencia de la sinapsis.En concreto, la eficiencia de la sinapsis varia como una funcin de la correlacin entre la activacin de las neuronas presinptica y postsinptica.

Para formular el postulado de aprendizaje de Hebb en trminos matemticos consideraremos de nuevo la figura 4. De acuerdo con el postulado de Hebb el incremento de la eficiencia sinptica en el tiempo t ha de tener la forma:

k es una constante que se denomina tasa de aprendizaje. indefinidamente se introduce un factor de olvido:

Para evitar que los pesos crezcan

Las redes recurrentes difieren en su comportamiento de las redes feedforward en varios aspectos. En las redes feedforward se obtiene un output estable de forma prcticamente inmediata una vez se ha introducido un patrn de activacin en la capa input. Sin embargo, en las redes recurrentes una vez se ha producido un input se tarda cierto tiempo en obtener un output estable. A que se debe esta tardanza? En las redes recurrentes, debido a las conexiones recurrentes, la activacin de las neuronas input es la vez modificada por la activacin de las neuronas output. Al cambiar el output tambin se nos modifica el input que a su vez determinar un nuevo output y as sucesivamente. Sin necesidad de nueva estimulacin exterior se observa que el estado de las diferentes neuronas va evolucionando en el tiempo. Para describir el comportamiento de las redes recurrentes necesitamos introducir la variable tiempo. De esta forma podremos describir la evolucin del estado de la red a travs del tiempo. Los sistemas que evolucionan en el tiempo se denominan en fsica, sistemas dinmicos. Una red recurrente es, por tanto, un sistema dinmico. Las matemticas que nos permiten describir adecuadamente esto sistemas son bastante complejas (sistemas de ecuaciones en derivadas parciales). Debido a esta complejidad las omitiremos. En su lugar introduciremos una serie de conceptos que nos permitirn entender el funcionamiento de las redes recurrentes de una forma bastante adecuada.

En concreto es el valor que toman las variables que describen el sistema en un momento determinado. En una red neuronal un estado queda caracterizado por los valores de las activaciones de las unidades en un momento dado. Espacio de estados: El espacio en el cada de una de las variables que describen el sistema constituye una dimensin, se denomina espacio de estados.

En el caso de la red neuronal la activacin de cada una de las neuronas constituira dimensin.

una

Trayectoria: Un sistema fsico que evoluciona en el tiempo describe trayectorias en el espacio de estados. El sistema esta en constante evolucin, es decir, varan los valores de las variables que lo describen hasta que se llega a un estado de equilibrio.

Estado inicial: Es el punto inicial de una trayectoria. inicial t=O.

El estado del sistema en el momento

Estado de equilibrio o atractor: Es el punto final de una trayectoria. Una vez el sistema llega a un estado de equilibrio estable ya no evoluciona ms a no ser que se le perturbe de nuevo desde el exterior. Cuenca de atraccin de un atractor: El conjunto de todos los puntos del espacio de estados por los que pasan trayectorias que terminan en un atractor determinado forma lo que se denomina cuenca de atraccin de este atractor.

EJERCICIO 500: En el sistema fsico de la figura 9 tenemos una partcula mvil movindose por el perfil de un terreno Donde se encontraran los atractores? a.- En A y B. b.- En Cl, C2, y C3. EJERCICIO 501: En el sistema fsico de la figura 9 Entre que puntos se encontraran de atraccin? a.- Entre A y B. b. - Entre C 1, C2 tendramos una y entre C2 y C3 la otra. c.- Entre Cl, A tendramos una y entre C2 y B la otra. las cuencas

EJERCICIO determinado.

502: En la figura

10 se representa

el espacio de estados

de un sistema

fsico

a.- Cuantos atractores tienen este sistema? b.- Donde se hallan? c.- Si C es un estado inicial En que atractor terminara una trayectoria iniciada en este estado inicial?

Una de las tareas principales que realizan estas redes es la de completacin de patrones. Su comportamiento permite la realizacin de esta tarea de una forma natural y sencilla si se cumplen ciertas condiciones. La tarea de completacin de patrones se puede definir del siguiente modo: Un red recurrente ha almacenado un conjunto de n patrones en sus estados de equilibrio y se comporta de tal modo que cuando se le presenta un patrn nuevo, p, evoluciona hacia el estado de equilibrio que representa el patrn almacenado que ms similitud tienen con el inicialmente presentado p. Podemos utilizar una red recurrente para reconstruir recuperar informacin a partir de pistas parciales. y reconocer imgenes y en general para

EJERCICIO 507: Este ejercicio ha sido resuelto en clase. La figura 11 nos muestra un ejemplo de cmo una red recurrente puede reconstruir imgenes. Cada imagen est formada por l30x180 pixels. Cada pixel es una neurona. El nivel de gris de cada pixel viene dado por el nivel de activacin de la neurona correspondiente. a.-Qu imgenes representaran estados iniciales? b.-Qu imgenes representaran estados intermedios?

---1

.c\/ \/
e_o _ ___ o e_o

/~ /~

''J

"" . i.
,.

.)
.. ,