Sei sulla pagina 1di 41

Rita Pizzi

SISTEMI DINAMICI E AUTOORGANIZZAZIONE

INDICE Capitolo 1 COMPLESSIT, AUTOORGANIZZAZIONE E CAOS 1.1 AUTOORGANIZZAZIONE E SISTEMI COMPLESSI 1.2 COMPLESSIT E NON LINEARIT 1.3 NON LINEARIT E SISTEMI DINAMICI Capitolo 2 - METODI ANALITICI NON LINEARI 2.1 DIMENSIONE FRATTALE E DIMENSIONE DI CORRELAZIONE p. 6 2.2 PARAMETRO DI HURST p. 8 2.3 RECURRENT PLOTS p. 8 Capitolo 3 - RETI NEURALI COME SISTEMI DINAMICI 3.1 STABILIT E REGIONE DI ATTRAZIONE NEI MODELLI NEURALI 3.2 APPRENDIMENTO p. 2 p. 3 p. 3

p. 10 p. 13

Capitolo 4 MODELLI NEURALI DI ELABORAZIONE DI SISTEMI DINAMICI 4.1 PATTERN SPAZIOTEMPORALI IN RETI NEURALI 4.2 RETI RICORRENTI 4.3 RETI AUTOORGANIZZANTI Capitolo 5 LELABORAZIONE DI SISTEMI DINAMICI IN TEMPO REALE 5.1 LARCHITETTURA ITSOM 5.2 ANALISI DINAMICA DELLA ITSOM Capitolo 6 ESEMPI DI ANALISI ED ELABORAZIONE DI SISTEMI DINAMICI NON LINEARI 6.1 EQUALIZZAZIONE E DEMODULAZIONE DI SEGNALI GSM 6.2 ANALISI NON LINEARE DI SEGNALI CORTICALI E BINDING FUNZIONALE DELLE PERCEZIONI Bibliografia
1

p. 15 p. 16 p. 18

p. 21 p. 24

p. 25 p. 31 p. 36

Capitolo 1 COMPLESSIT, AUTOORGANIZZAZIONE E CAOS

1.1 - AUTOORGANIZZAZIONE E SISTEMI COMPLESSI La teoria dei sistemi complessi affronta lo studio dellorganizzazione che emerge spontaneamente dallinterazione di molti componenti elementari [HEY92][GEL95]. Un classico esempio e quello di un fluido riscaldato dal basso. In presenza di opportune condizioni al contorno i moti convettivi delle molecole si dispongono secondo le cosiddette colonne di Bnard, che sono formazioni verticali a nido dape. Si instaura cioe uninattesa cooperazione tra molecole laddove sarebbe atteso semplicemente un aumento del disordine molecolare. I sistemi complessi reagiscono alle modificazioni dellambiente esterno riorganizzandosi in modo da esibire propriet innovative [STA02]. Lautoorganizzazione e una struttura spazio-temporale che non e imposta dallesterno ma emerge spontaneamente dallevoluzione del sistema stesso come funzione della sua dinamica. Lorganizzazione emergente e osservabile ad una scala spaziotemporale diversa (molto maggiore) da quella molecolare. La costruzione di modelli matematici per tali sistemi [ROS72] evidenzia che le equazioni che li reggono sono in genere estremamente sensibili alle C.I., in modo che fluttuazioni estremamente piccole danno luogo a storie dinamiche completamente diverse (effetto farfalla). Questo indeterminismo di fatto (ma non di principio) non e eliminabile, dato che in un sistema numerico e comunque necessario fissare un certo grado di precisione non infinito e qualsiasi grado anche piu alto di precisione produrr storie dinamiche differenti. Questo e il cosiddetto caos deterministico: il sistema ha un comportamento complessivamente regolare ma irregolare nel dettaglio, e quindi e impossibile prevedere il suo comportamento negli istanti futuri. Definiamo caos un comportamento non predicibile di un sistema dinamico deterministico a causa della sua sensibilit alle condizioni iniziali [GLE87]. Il comportamento di un sistema dinamico deterministico e predicibile una volta note le condizioni iniziali. Ma esistono casi in cui a seconda della precisione con cui si misurano le C.I. il moto del sistema si comporta in modo assai diverso. Piu precisamente, un insieme S esibisce sensibilit ai valori iniziali se esiste una t.c. per ogni >0 e per ogni x in S, esiste un y t.c. |x y | < , e |xn yn | > per qualche n >0. Allora esiste una distanza fissa r t.c. , per quanto precisamente si specifichi uno stato iniziale, ci sono stati vicini che alla fine si allontanano di una distanza r. Questo e cio che avviene nei sistemi caotici. Un sistema caotico esibir quindi sensibilit alle condizioni iniziali, comportandosi in modo complesso. Un tipico esempio di autoorganizzazione e presente in tutti i sistemi biologici [GRE94] e nella loro espressione piu evoluta, la vita intelligente.Un tentativo promettente di riprodurre funzionalit evolute attraverso il comportamento collettivo di elementi semplici e dato dalle reti neurali artificiali.

Molteplici elementi interconnessi si scambiano continuamente informazioni sulla base di una serie di input provenienti dallesterno, e pervengono ad una forma di organizzazione funzionale che non e provocata da un algoritmo predefinito dallesterno, ma emerge dalla stessa struttura del sistema neurale.

1.2 - COMPLESSIT E NON LINEARIT Nellapproccio tradizionale i sistemi complessi vengono trattati analiticamente, ossia riducendoli alla combinazione lineare di elementi piu semplici. Una classica relazione lineare e quella della legge di Hook (y = ax + b, y lunghezza e x forza applicata) che regola la forza elastica. Ma quando lelasticit viene meno (es. tendendo molto lelastico) il grafico cessa di essere lineare. Il sistema non e piu lineare, e mostra in determinate circostanze un cambiamento repentino di comportamento: lelastico si spezza. In natura molti sistemi sono lineari o approssimabili alla linearit (ad es. le onde elettromagnetiche: si pensi alla trasformata di Fourier per cui ogni funzione matematica periodica puo essere rappresentata da una serie di onde sinusoidali pure), e cio ha permesso la modellizzazione di moltissimi fenomeni naturali. Ma per moltissimi sistemi fisici la linearit non e sostenibile, e la loro modellizzazione diviene estremamente complessa: quasi tutti i sistemi dinamici sono caotici, quindi non intrinsecamente indeterministici, ma di fatto non predicibili [KAP95] [JAC89]. Lelaborazione di pattern spazio-temporali fortemente tempo-varianti e strettamente non lineari , quali quelli provenienti dallacquisizione di dati del mondo reale, rappresenta una problematica di crescente importanza, e la sua complessit comporta necessariamente luso e lo sviluppo di strumenti evoluti. Ladattivit tipica delle reti neurali artificiali e la loro capacit di generalizzazione sembra indicarle come strumento di elezione per lanalisi di questa problematica.

1.3 - NON LINEARIT E SISTEMI DINAMICI Sono lineari le funzioni che si comportano in modo tale che f(ax+by) = af(x) + bf(y) . Nei casi in cui non vale questa eguaglianza, detti non lineari, tutto diviene matematicamente piu difficile. Ad esempio se f(x) = 0 e f(y) = 0 non vale piu f (ax+by) = 0 per ogni a e b (principio di sovrapposizione: piu soluzioni per ogni variabile) e la soluzione va cercata con metodi speciali. Nessun modello reale e veramente lineare, ma spesso si puo approssimare ad una funzione lineare . I sistemi non lineari esibiscono effetti complessi non deducibili con metodi lineari. Questo e particolarmente evidente nei sistemi dinamici [ATM92] [ROS70].
3

Un sistema si dice sistema dinamico quando esprime la variabilit di uno stato (ossia un punto in uno spazio vettoriale ) nel tempo: dX/dt = F(X,t) F: W Rn Rn differenziabile (1)

La soluzione del sistema linsieme delle traiettorie in funzione delle condizioni iniziali. Un sistema dinamico e completamente definito da uno spazio delle fasi o degli stati, le cui coordinate lo descrivono in ogni istante, e da una regola che specifica landamento futuro di tutte le variabili di stato. I sistemi dinamici sono deterministici se esiste un unico conseguente per ciascuno stato, stocastici se ne esistono diversi con una certa distribuzione di probabilit (es. il lancio di una moneta).

Lo spazio delle fasi e la collezione di tutti i possibili stati di un sistema dinamico. Puo essere finito (come nel caso della moneta, due stati) o infinito ( se le variabili sono numeri reali). Ad esempio,un automa cellulare e un sistema dinamico con tempo discreto, spazio geometrico discreto e spazio degli stati discreto s(i,j), dove i sono le coordinate spaziali e j il tempo, e la regola di aggiornamento e s(i,j+1) = f(s). Un semplice esempio il caso del pendolo, in cui lo spazio delle fasi e continuo e bidimensionale ed ha come coordinate langolo e la velocit. Si puo inserire il tempo come coordinata dello spazio delle fasi ed esprimere il sistema dinamico con lequazione differenziale dX/dt = F(X,t) dove (X,t) e lo spazio delle fasi. Matematicamente, un sistema dinamico e descritto da un problema ai valori iniziali. La traiettoria nello spazio delle fasi tracciata da una soluzione di un problema ai valori iniziali e chiamata traiettoria del sistema dinamico .

Definiamo traiettoria costante una soluzione costante x(t) = x(0) di (1), ossia un vettore x(0) per il quale ciascuna componente della parte destra di (1) e zero. Una traiettoria costante e detta stabile se sono soddisfatte le seguenti condizioni: a) deve esistere un numero positivo tale che ogni traiettoria che parte allinterno di di x(0) deve avvicinarsi asintoticamente a x(0) b) per ogni numero positivo deve esistere un numero positivo () tale che una traiettoria sia garantita stare entro di x(0) semplicemente richiedendo che abbia inizio entro () di x(0). c) l'insieme di tutti i punti che possono essere stati iniziali di traiettorie che si avvicinano asintoticamente ad una traiettoria stabile e' detto regione di attrazione della traiettoria stabile.

Un ciclo limite, o attrattore ciclico , e una curva chiusa nello spazio n-dimensionale con le seguenti propriet: a) nessuna traiettoria costante e contenuta nel ciclo limite b) qualsiasi traiettoria che abbia inizio in un punto nel ciclo limite deve stare entro il ciclo limite anche in seguito c) deve esistere un numero positivo tale che ciascuna traiettoria che abbia inizio entro del ciclo limite deve avvicinarsi asintoticamente al ciclo limite d) per ogni numero positivo deve esistere un numero positivo () tale che una traiettoria sia garantita stare entro e del ciclo limite semplicemente richiedendo che abbia inizio entro () del ciclo limite. In sintesi, se alcune traiettorie convergono in qualche punto, linsieme degli stati iniziali di tali traiettorie generate e detto regione di attrazione del punto. Una regione di attrazione e in definitiva un insieme di punti nello spazio degli stati di diametro finito tale per cui ogni traiettoria entra e non esce piu.

Capitolo 2 - METODI ANALITICI NON LINEARI


Un tipo molto diffuso di autoorganizzazione, che si instaura in natura anche al di fuori dei fenomeni vitali (ad esempio nei fenomeni metereologici e astronomici, in fluidodinamica, ecc.) , e come si visto il caos deterministico. Il comportamento a lungo termine dei sistemi caotici segue pattern strutturati rilevabili visualizzando le traiettorie del sistema nello spazio degli stati. Tali traiettorie manifestano una struttura spaziale in cui sono confinate in un attrattore strano (ossia esibiscono una certa regolarit ma non si ripetono mai esattamente) [PEI92]. Un attrattore strano e geometricamente un frattale [MAN83], ossia una struttura di dimensione non intera.

2.1 DIMENSIONE FRATTALE E DIMENSIONE DI CORRELAZIONE Definiamo dimensione D di un oggetto lesponente che mette in relazione la sua estensione b con la distanza lineare r: brD

Lestensione b puo riferirsi a distanza lineare, area, volume, o quantit di informazione in bit. Per una linea b r 1 (ed infatti una linea ha dimensione 1), per un piano b r 2 , ecc. Passando ai logaritmi si ottiene D = lim r->0 (log(b)/log(r)) . E possibile costruire oggetti di dimensione non intera, i cosiddetti frattali [OTT93]. Essi hanno caratteristica di autosimilarit, ossia non posseggono scala caratteristica. Ad esempio un ramo e un oggetto frattale di dimensione fra 1 e 2. Si dimostra che gli attrattori caotici hanno dimensione frattale >2. Si e visto ad esempio che la dimensione frattale dellEEG ad occhi chiusi (circa 2) e piu bassa che ad occhi aperti (circa 6). Come si vedr pi in dettaglio (v. par. 6.2 ), secondo Freeman lattivit caotica prepara alla ricezione di un particolare stimolo, che manda entro un bacino di attrazione periodico (ciclo limite) o caotico. Anche le serie temporali possono esibire caratteristiche di stocasticit o di organizzazione caotica [SCH92]. Per valutare la dimensione di una serie si utilizza una procedura detta delay-time embedding. Se una serie temporale e sufficientemente lunga, la traiettoria dello spazio degli stati da essa generata e geometricamente equivalente allattrattore del sistema che ha generato la serie originale. Grassberger e Procaccia [GRA83] hanno sviluppato un metodo, spesso applicato ai dati fisiologici, che permette di determinare la cosiddetta dimensione di correlazione D2 (che corrisponde ad un limite inferiore per la dimensione frattale classica di Hausdorff).

Sostituiamo ciascuna osservazione nel segnale originale X(t) con il vettore y(i) = x(i), x(i+d), x(i+2d),..., x(i+(m-1)d) , ottenendo come risultato una serie di vettori di m coordinate in uno spazio m-dimensionale: Y = y(1), y(2),..., y(N-(m-1)d)) dove N e la lunghezza della serie originale e d il cosiddetto lag o delay time, ossia il numero di punti fra componenti di ciascun vettore di stato ricostruito. Si puo dimostrare che i vettori di stato ricostruiti sono trasformazioni topologicamente invarianti dei vettori di statooriginali, e che linsieme dei vettori di stato (punti nello stato m-dimensionale) formati nello spazio ricostruito da Y ha la stessa dimensione dellattrattore del sistema. Si dimostra inoltre (Teorema di Taken) che esiste una relazione matematica fra dimensione di embedding n della serie e dimensione reale d dellattrattore del sistema dinamico corrispondente: n = 2d + 1. Ora , la dimensione D2 e definita come D2 = lim r->0 (log(C(r))/log(r)) dove lestensione della serie e data dallintegrale di correlazione C ( r). Lintegrale di correlazione si calcola come il numero medio di coppie di vettori di stato ricostruiti che stanno allinterno di una distanza r luno dallaltro. In altre parole C( r) calcola il numero medio di punti che stanno sullattrattore ricostruito entro la distanza r fra loro. Se lattrattore e frattale, per un certo range di r (quello allinterno del quale nel modo reale i frattali sono davvero autosimilari) il logaritmo di questa media avr una relazione lineare con il logaritmo di r. In questa regione la pendenza della curva misura la dimensione di correlazione D2. La dimensione di correlazione D2 d la misura della complessit dellattrattore del sistema ed e connessa allintegrale di correlazione, che misura invece lestensione dellattrattore. Il grafico della dimensione di correlazione viene espresso in funzione della dimensione di embedding. Idealmente, il grafico dovrebbe convergere asintoticamente alla dimensione di correlazione reale.

In una serie temporale il concetto di autosimilarit viene usato in senso distribuzionale: se vista a scala differente, la distribuzione delloggetto rimane invariata. In tal caso si verifica una dipendenza a lungo raggio, ossia i valori ad ogni istante sono correlati ai valori di tutti gli istanti successivi. Una serie temporale autosimilare ha la propriet che quando aggregata in una serie piu breve (con ciascun punto somma di multipli punti originali) mantiene la stessa funzione di autocorrelazione r (k) = E[(Xt - )(X t+k -)]

sia nella serie X=(Xt: t=0,1,2,...) sia nella serie contratta X(m) = (Xk(m) : k=1,2,3,...), , aggregata in blocchi di misura m. Quindi la serie e distribuzionalmente autosimilare, perche la distribuzione della serie aggregata e la stessa (eccetto per la variazione di scala) di quella originale. Come risultato, i processi autosimili mostrano dipendenza a lungo raggio, ossia hanno una funzione di autocorrelazione r(k) ~ k - per k ossia la funzione decade iperbolicamente. 0<<1

2.2 PARAMETRO DI HURST Il grado di autosimilarit di una serie e esprimibile utilizzando un solo parametro [HUR65], che esprime la velocit di decadimento della funzione di autocorrelazione ed e detto parametro di Hurst H: H = 1 - /2. Dunque per una serie autosimilare < H <1. Per H tendente ad 1 il grado di autosimilarit aumenta, quindi la serie e autosimilare quando si discosta significativamente da . Si dimostra che il parametro di Hurst e legato alla dimensione frattale D di Hausdorff (di cui la dimensione di correlazione C(r) e limite inferiore) dalla semplice espressione D = 2 - H. Ad esempio le linee di costa frastagliate, che hanno D 1.2, portano ad un valore di H pari a 0.8 .

2.3 RECURRENT PLOTS Un metodo di valutazione qualitativa di una serie espansa con delay-time embedding sono i recurrent plots, che rappresentano una matrice basata sulle distanze euclidee della serie embedded. I recurrent plots possono essere rappresentati con codice di colore, e sono tanto piu strutturati quanto piu il sistema si allontana dalla stocasticit [ZBI92].

La Recurrence Quantification Analysis (RQA) un nuovo strumento quantitativo che pu essere applicato allanalisi dei recurrent plots di una serie temporale ricostruita con metodo di delay-time embedding. La RQA indipendente dalla dimensione dei dati, dalla stazionariet e da assunzioni sulla distribuzione statistica dei dati. RQA d una veduta locale del comportamento della serie, perch analizza le distanze di coppie di punti, e non una distribuzione di distanze. Pertanto a differenza dellautocorrelazione, RQA in grado di analizzare rapidi transienti e di localizzare nel tempo le caratteristiche di una variazione dinamica: per questo motivo la RQA lo strumento ideale per lanalisi dei sistemi fisiologici. Esistono diverso quantificatori per la valutazione dei recurrent plots: il pi significativo il DET (determinismo), ossia la percentuale di punti ricorrenti che appaiono in sequenza formando linee diagonali nella matrice. DET d la misura delle porzioni di spazio in cui il sistema si trattiene per un tempo pi lungo di quanto non sia atteso per sola casualit. Losservazione di punti ricorrenti consecutivi nel tempo (che formano linee parallele alla diagonale principale) unimportante segno di struttura deterministica. Infatti la lunghezza della linea (ricorrente) diagonale pi lunga corrisponde accuratamente al valore del massimo esponente di Lyapounov della serie. Lesponente di Lyapounov unaltra misura di determinismo di una serie, che quantifica la velocit media di divergenza di traiettorie vicine lungo varie direzioni dello spazio delle fasi. Si dimostra che i sistemi caotici hanno massimo esponente di Lyapounov positivo. Si dimostra inoltre che la lunghezza della piu lunga linea diagonale (ricorrente) nel plot RP predice accuratamente il valore del massimo esponente di Lyapounov.

Capitolo 3 - RETI NEURALI COME SISTEMI DINAMICI

3.1 STABILIT E REGIONI DI ATTRAZIONE NEI MODELLI NEURALI Una rete neurale si puo vedere come un sistema dinamico di equazioni differenziali n-dimensionali che rende conto della dinamica di n neuroni. Ciascun neurone e definito matematicamente dal suo stato x(i) e della sua funzione guadagno gi=gi(xi) differenziabile ovunque e no decrescente .Una funzione guadagno tipica e la funzione logistica g(x) = (1 + e -x) -1 biologicamente motivata perche simula la fase refrattaria dei neuroni reali. Questa funzione fornisce valori fra 0 e 1. E spesso utile pero utilizzare una funzione di trasferimento simmetrica rispetto allo zero, in modo da mantenere leventuale simmetria dei valori di input. Si utilizza allora la funzione tangente iperbolica (fra 1 e +1), o la funzione F(P) = A (e kp 1) / (e kp +1) con A e k costanti positive. La velocit di variazione di ciascun xi e determinata da una funzione dipendente da xi e dagli output gi(xi). In generale possiamo esprimere tale variazione con il sistema di equazioni differenziali

dxi/dt = -ki xi + pi (g(x))

(2)

Dove ki e una costante positiva e ciascun pi e una funzione in generale polinomiale delle n variabili g1(x(t), g2(x(t),, gn(x(t)), che si comportano abbastanza bene da fare in modo che le traiettorie per il sistema di equazioni esistano e siano uniche. Intendiamo per traiettoria una serie di punti nello spazio n-dimensionale che partono da un qualche stato iniziale (al tempo zero) nell n-spazio ad uno stato finale. Compito della rete neurale e generare tale serie di punti fino allo stato finale, che costituisce loutput di risposta della rete. I livelli di attivit di n neuroni sono rappresentati da un punto nello spazio n-dimensionale [JEF91]. Si tratta quindi di costruire un sistema dinamico n-dimensionale le cui soluzioni sono traiettorie rappresentanti attrattori costanti (equilibrio stabile) o attrattori ciclici (cicli limite). Diciamo allora che scopo della rete neurale e generare traiettorie nello spazio n-dimensionale che si avvicinino asintoticamente a qualcuna delle traiettorie attrattore costante.

10

Nei modelli neurali di tipo additivo (di cui fa parte il MLP, v. avanti) ciascun pi e una funzione lineare delle componenti di g: pi = nj Tij gi dove Tij sono costanti reali che formano una matrice nxn. Recentemente sono emerse pero come alternative piu efficienti reti neurali di ordine piu alto in cui ciascuna pi e una funzione polinomiale delle componenti di g: tipicamente della forma g1 e1 g2 e2 gn en In cui ciascun esponente ei vale 0 oppure 1. (3)

Per le reti lineari del tipo (3) il teorema di Cohen Grossberg [HEC90] assicura lesistenza di punti stabili (ossia punti t.c. dx(p)/dt=0 ) . TEOREMA DI COHEN-GROSSBERG: Ogni sistema dinamico della forma dxi/dt = ai(xi) [bi(xi) - j wij Sj (xj)] t.c. 1) 2) 3) 4) 5) 6) la matrice wij e simmetrica e ogni wij>=0 la funzione aj(x) e continua per x>=0 ed aj(x)>0 per x>0 la funzione bj(x) e continua e non va allinfinito per qualsiasi intervallo aperto per x>0 la funzione Sij(x) e differenziabile e Sij(x)>0 per x>=0 bj(x) wiSi(x)<0 per x vale lim u 0+ bi(x) < e 1/a(s) ds = per qualche x>0

possiede un insieme almeno numerabile di punti stabili p t.c. dx(p)/dt = 0. Se lo stato della rete al tempo 0 e t.c. xi(0)>0 , allora la rete converger quasi sempre a qualche punto stabile p (cioe t.c. dx(p)/dt =0), ed esister almeno un insieme numerabile di tali punti.

Per quanto tali condizioni siano restrittive corrispondono a quelle supportate da molte reti etero e autoassociative (v. pi avanti la rete di Hopfield, a nodi interamente interconnessi e pesi simmetrici). Le memorie sono poste negli attrattori, e il teorema ne garantisce lesistenza, per quanto esistano molti attrattori spuri. Ad ogni stato di una rete puo essere associata una funzione energia di Lyapounov (L.) che consente di determinare alcune propriet delle traiettorie.

11

Una funzione di L. e una funzione L : {0,1} n ---> R t.c.

L(T(x)) L(x) per ogni x {0,1}n dove T e la funzione di transizione operata dalla rete. Dunque L e monotona non crescente lungo ogni traiettoria. Ne segue che i punti di equilibrio del sistema corrispondono ai punti di minimo di L. Per reti con matrice di connessione quadrate, la funzione di L. viene chiamata funzione energia e viene scelta come E(x) = -1/2 ixj wij xj xj dove si vede facilmente che e monotona non crescente e E e sempre <=0, cioe il sistema e globalmente stabile. Questo e il caso per la rete di Hopfield [HOP84], un esempio evidente di come una rete neurale sia un sistema dinamico che puo tendere ad una serie di attrattori stabili. Si tratta di una rete completamente connessa a pesi simmetrici, con input bipolare (+/-1 o 0,1). Gli input sono applicati a tutti i nodi contemporaneamente ed i pesi sono settati secondo la legge wij = xi xj = 0 per per i<>j i=j

Nel ciclo di apprendimento ogni output di un neurone e un nuovo input per lo stesso neurone. Il calcolo del nuovo valore e stabilito dalla funzione f(xi)= xi se wij xj = Ti (soglia eventualmente nulla) f(xi) = +1 se wij xj > Ti f(xi) = -1 se wij xj < Ti Possiamo vedere un pattern di input come un punto nello spazio degli stati, che mentre la rete itera si muove verso degli avvallamenti, che rappresentano gli stati stabili della rete. I valori ultimi dei pesi rappresentano loutput della rete. La soluzione occorre quando il punto muove nella regione piu bassa del bacino di attrazione. Infatti, essendo per matrici simmetriche con diagonale nulla

12

E/xi = - wij xj se xi >0 se xi <0 ossia sempre E <=0. Dopo un certo numero di iterazioni la rete si stabilizzer in uno stato di minima energia. Ad ogni minimo corrisponder un pattern immagazzinato nella rete. Un pattern sconosciuto costituisce un punto su questo iperpiano che man mano si muove verso un punto di minimo. Possono esistere stati cosiddetti metastabili , ossia punti di minimo cui non corrisponde alcun pattern immagazzinato (attrattori spuri). wij xj >0 wij xj <0

Piu in generale si puo dimostrare il seguente TEOREMA : Ogni modello di rete neurale del tipo (2) ha una regione di attrazione finita. (4)

Tipiche traiettorie in spazio bidimensionale con due memorie e modello con ciclo limite.

3.2 APPRENDIMENTO Una volta identificato un particolare modello dinamico ed i suoi attrattori, va stabilito un algoritmo di apprendimento che vari le locazioni dei punti fissi per codificare informazione. Una condizione sufficiente per lesistenza di tale algoritmo e dunque lesistenza nel sistema di attrattori stabili isolati, ossia di punti fissi. La matrice dei pesi verr aggiustata in modo tale che, dato uno stato iniziale x0=x(t0)), ad un dato input corrisponda un punto fisso x = x(t), le cui componenti hanno un insieme desiderato di valori Dj nelle unit di output.

13

Un metodo tipico, utilizzato nelle reti backpropagation, e quello di minimizzare una funzione E che misuri la distanza fra il punto fisso (attrattore) desiderato ed il punto fisso corrente: E = (j Ji2) dove Ji = (Di - xi ) Qi e Qi e una funzione che vale 1 o 0 a seconda che la i-esima unit appartenga o meno al sottoinsieme di output delle unit di rete.

Allora lalgoritmo di apprendimento sposter i punti fissi in modo da soddisfare sulle unit di output lequazione x(t) = Di Un modo tipico di fare cio e fare evolvere il sistema nello spazio dei pesi i lungo le traiettorie antiparallele al gradiente di E: dwij/dt = - dE/dwij dove e una costante numerica che definisce la scala temporale per cui w cambia; deve essere piccolo, in modo che x sia sempre essenzialmente allo stato costante, ossia x(t) = x .

In pratica quando sullo strato di uscita viene calcolato lerrore fra uscita prodotta e uscita desiderata, esso viene propagato allindietro nei vari strati, in modo da aggiustare i pesi del singolo nodo. Questo algoritmo, chiamato del gradiente decrescente, utilizzato dalle reti backpropagation [RUM86], non e lunico possibile ma e senza dubbio la piu semplice ed efficiente equazione di minimizzazione di E. Si puo dimostrare che, se la rete iniziale e stabile, la dinamica del gradiente decrescente non cambia la stabilit della rete. Questo consente di affermare laffidabilit dellalgoritmo backpropagation, che fornisce la necessaria robustezza alle deviazioni prodotte dalle interferenze e presenti nei sistemi reali.

14

Capitolo 4 MODELLI NEURALI DI ELABORAZIONE SISTEMI DINAMICI


4.1 PATTERN SPAZIOTEMPORALI IN RETI NEURALI Le reti neurali sono state inizialmente applicate a problemi di pattern spaziali o istantanei, ma lavanzare della tecnologia ha reso necessario applicare i sistemi neurali anche a pattern spaziotemporali. Intendiamo per pattern spazio-temporale una funzione x(t) che associa ad ogni tempo t un punto nello spazio n-dimensionale di ingresso: x(t) : {t0,t1} -> Rn In tre dimensioni e possibile rappresentare un pattern spazio-temporale come una traiettoria nello spazio di ingresso parametrizzata nel tempo. Compito della rete neurale sar quello di implementare una trasformazione tempo-variante, cha associa alla funzione x(t) una funzione di uscita y(t) per ogni tempo t. Diversi metodi sono stati proposti in passato per permettere alle reti neurali lelaborazione di pattern spazio-temporali, ossia di generare traiettorie attrattori parametrizzabili nel tempo. Questi metodi sono inquadrabili essenzialmente nelle seguenti varianti [MAR91]: creazione di una rappresentazione spaziale di dati temporali impostazione di ritardi (time-delays) nei neuroni o nelle connessioni uso di neuroni con attivazioni che sommano gli input nel tempo combinazioni dei metodi esposti.

La strategia piu antica e stata quella di trasformare i dati di output in una sequenza di dati. Quando viene ricevuto un nuovo insieme di input, i dati precedenti vengono eliminati e cosi via. La rete in questo modo conserva memoria del passato solo nei neuroni intermedi. Sono state allora studiate time-delay networks, in cui linformazione presa ad un istante di tempo viene spostata verso destra in una catena di nodi, mentre la nuova informazione viene inserita a sinistra. Il numero di nodi determina il numero di intervalli di tempo su cui si campiona linformazione. Unarchitettura che porta a stati stabili senza time-delay puo produrre oscillazioni o comportamenti caotici (in termini dinamici attrattori ciclici o caotici) una volta introdotto il ritardo. Se invece il ritardo e trasmesso nelle connessioni, linformazione rimane in un certo stato per un periodo, poi scatta la connessione che la porta in un altro stato e cosi via. Si puo dimostrare che tali reti, che sono evidentemente dotate di memoria a lungo o a breve termine, sono in grado di riprodurre diversi tipi di sequenze temporali. Un altro metodo consiste nel modificare i neuroni in modo che sappiano sommare i dati che a loro arrivano nel tempo, permettendo un decadimento graduale delle informazioni piu antiche. Se i neuroni hanno connessioni ricorrenti, il feedback agisce creando isteresi in ciascun neurone e quindi una memoria dellinformazione che perdura al di l dello stimolo.

15

Sono state inoltre proposte reti che accettano in input informazioni codificate sotto forma di frequenze, come daltra parte avviene nei sensori naturali. Queste reti sono state utilizzate per guidare attuatori robotici, con buoni risultati nellimplementazione hardware. Le piu semplici delle reti sopra descritte sono di fatto delle reti non dotate di memoria , con architettura statica, che non comprende alcuna gestione effettiva della variabile temporale[MAR91b].

4.2 RETI RICORRENTI Hanno dato prova di migliore efficienza le reti cosiddette dinamiche in senso stretto, la cui architettura accoglie e gestisce effettivamente al suo interno una sequenza temporale di pattern [BEN93]. Allinterno di tali reti e presente un sistema di retroazione detto state feedback, realizzato mediante opportune connessioni fra i nodi. Esso consiste nel fatto che un nodo riceve come segnali afferenti oltre che gli ingressi anche tutte le uscite degli altri nodi, compresa la propria. Diviene definibile uno stato interno della rete, al quale contribuiscono tutti i nodi della rete con le loro uscite correnti. Queste reti sono descrivibili mediante equazioni differenziali del tipo dui(t)/dt = (-ui(t)/ti ) + j wij g(uj(t)) + Ii(t) dove ui(t) e lo stato interno della i-esima unit, ti e la costante di tempo della i-esima unit, wij sono i pesi della connessione, Ii(t) e' l'input dell'i-esima unit e g(uj(t)) e' l'output della i-esima unit.

Rete ricorrente con state feedback

Pineda [PIN88] dimostra che tale sistema di equazioni si riduce al sistema (2) attraverso una semplice trasformazione lineare. Le reti neurali ricorrenti non sono in definitiva che reti che possiedono connessioni complesse fra i nodi, a differenza delle reti feedforward che vincolano le connessioni ad una direzione unica (dallinput verso loutput) [CAT93]. Questo modello comprende una vasta classe di reti, dalla rete di Hopfield alle backpropagation ricorrenti. Come si detto, tali reti danno prestazioni migliori rispetto alle reti feedforward nel trattamento dei pattern spazio-temporali ed in generale nella modellizzazione di sistemi dinamici reali.
16

Per tali sistemi esistono teoremi ( [FUN93][SUD91]) che dimostrano che traiettorie finite nel tempo di un dato sistema dinamico n-dimensionale sono approssimate dagli stati interni delle unit di output di una rete ricorrente con n unit di output, N nodi nascosti ed appropriati stati iniziali. In questo modo il teorema di esistenza di attrattori in caso di reti ricorrenti e garantito dallo stesso teorema (4). Lo MLP si presta ad essere trasformato in una rete ricorrente (RBP) secondo vari schemi possibili, il piu classico dei quali e dovuto a K. Narendra [NAR91] ed e visibile in figura:

Architettura di Narendra

Lo strato di ingresso viene collegato ad una linea di ritardo a prese, dove scorre la sequenza di dati da elaborare. In unaltra linea di ritardo scorrono le osservazioni in uscita. Lunica uscita u(k) e funzione delle n osservazioni in ingresso e delle m precedenti uscite. La n+mpla di ingressi e interpretabile come un punto nello spazio di ingresso. Seguendo il metodo introdotto da Rumelhart e Williams e perfezionato da Pineda [WIL89][WIL90] [PIN87] si ottiene il seguente modello. L equazione ai nodi e ui(k+1)=f(j wij uj(k)) + vi(k)) 0<=k<=n

Loutput del primo strato e zj = uj(k) vj(k) 0<= j <= N N+1 <= j <= L

dove zj e loutput del primo strato e vj linput corrente .

Loutput corrente e

17

ui (k+1) = f(Ii(k)) dove Ii(k) = j wij zj(k) + z0 (z0 bias) e lequazione ai nodi e u(k+1)i = f(Ii(k)) Dove f e la funzione sigmoide. Lalgoritmo di apprendimento e simile a quello del MLP statico. Nonostante le reti ricorrenti costituiscano un metodo di trattamento avanzato dei pattern spaziotemporali [CAT93], la grande variabilit dei dati limita le prestazioni delle reti nel loro utilizzo in tempo reale a causa della difficolt di trovare un set di training esaustivo e/o dalla lunghezza del procedimento di apprendimento [GRO87][GRO90]. Le applicazioni sviluppate soffrono di severi limiti nella velocit computazionale o alternativamente nella capacit di adattamento alle fluttuazioni dellinput, essendo difficile pervenire ad un positivo compromesso fra la lentezza del processo di apprendimento on-line e le scarse prestazioni dellapprendimento off-line. Questo problema e intrinseco al metodo di apprendimento supervisionato.

4.3 RETI AUTOORGANIZZANTI Unalternativa quasi obbligata ai limiti di queste architetture sembra quindi essere costituita dalle reti neurali non supervisionate[CAR91][CHO87], la cui piu efficace esplicitazione resta attualmente la Self-Organizing Map (SOM) di T. Kohonen . La SOM e stata sviluppata negli anni 80 da T. Kohonen [KOH83] sulla base di precedenti studi di neurofisiologia. La struttura di una rete di Kohonen consiste in uno strato di N elementi, detto strato competititvo. Ciascuno di questi riceve n segnali x1,,xn che provengono da uno strato di input di n elementi, le cui connessioni hanno peso wij. Se lo strato competititvo e di tipo matriciale, i neuroni vengono collegati tra loro secondo uno schema quadrato, esagonale o romboidale. Se e di tipo vettoriale, i neuroni sono semplicemente connessi fra loro a formare una catena.

18

Rete di Kohonen

Per stimare lintensit Ii dellinput di ciascun elemento dello strato di Kohonen si procede come segue: Ii = D(wi,x) wi=(wi1,,win)T x i =(x1,...,xn)T dove D(u,x) e una qualche funzione distanza, ad es. quella euclidea. A questo punto viene messa in atto una competizione per valutare quale elemento ha la minore intensit di input (ossia quale wi e il piu vicino ad x). La SOM prevede un meccanismo cosiddetto di inibizione laterale, che e' presente anche in natura sotto forma di trasformazioni chimiche a livello sinaptico. Nella regione corticale del cervello, infatti, neuroni fisicamente vicini ad un neurone attivo mostrano legami piu' forti, mentre ad una certa distanza da questo iniziano a mostrare legami inibitori. In questa architettura, ciascun elemento riceve sia stimoli eccitatori da parte degli elementi adiacenti (la cosiddetta neighborhood), sia stimoli inibitori da parte degli elementi piu' lontani, secondo la cosiddetta forma "a cappello messicano". L'esistenza della neighborhood e' utile per non polarizzare la rete su pochi neuroni vincenti.

Inibizione laterale

19

In tal modo vengono attivati solo gli elementi con distanza al di sotto di un certo valore, in casi restrittivi solo l'unit con minima distanza. A questo punto ha luogo la fase di apprendimento, secondo la cosiddetta "Winner Take All Law" (WTA). I dati di training consistono in una sequenza di vettori di input x . Lo strato di Kohonen decide poi il neurone vincitore sulla base della distanza minima. Ora i pesi vengono modificati secondo la legge winew = wiold + (x - wiold)zi dove 0<<1 decresce lentamente nel tempo con una legge del tipo (t) = [1 - t/] dove e' un'opportuna costante. Essendo zi 0 solo per il neurone vincitore, i pesi dei neuroni vincenti ruotano sempre piu' verso gli stimoli vettorialmente piu' vicini, fino a sovrapporsi idealmente con essi.

Rotazione dei vettori peso

La SOM effettua cosi' una quantizzazione vettoriale, ossia una mappatura da uno spazio a molte dimensioni in uno spazio con numero minore di dimensioni, coneservando la topologia di partenza. In altre parole viene effettuata una forma di clustering di tipo Nearest Neighbor (NN), in cui ogni elemento dello strato competititvo viene a rappresentare la classe di appartenenza degli elementi di input. La classificazione NN classifica un pattern a seconda del piu' piccolo valore ottenuto fra tutte le distanze da un insieme di pattern di riferimento. Questo metodo e' utile per separare classi rappresentabili da segmenti di iperpiani. Per questo motivo la SOM classifica bene pattern topologicamente ben distribuiti, ma si trova in maggiore difficolt nel caso di ditribuzioni non lineari. Inoltre appare evidente l'importanza della configurazione iniziale dei pesi, che deve essere il piu' possibile simile alla topologia di input.

20

Capitolo 5 LELABORAZIONE DI SISTEMI DINAMICI IN TEMPO REALE


5.1 LARCHITETTURA ITSOM Vari sono pero i motivi che a loro volta limitano le prestazioni della SOM nel caso di input strettamente non lineari e tempo-varianti. La prima ragione e che se la non linearit della topologia di input e troppo accentuata, lo strato competitivo non e in grado di dipanarsi a sufficienza sulla forma di tale topologia. La seconda ragione riguarda la difficolt di pervenire ad una convergenza certa (mancando la possibilit di stabilire un errore della rete per ciascuna epoca) . La terza ragione la scarsa cardinalit delloutput , limitata al numero dei neuroni dello strato competitivo. Un altro problema della SOM, tipica di qualsiasi algoritmo di clustering, e la mancanza di esplicitazione delloutput. Una volta ottenuta la classificazione dellinput lutente deve estrapolarne il significato con una procedura ad hoc, che in applicazioni in tempo reale puo penalizzare ulteriormente il carico computazionale. Una soluzione sperimentata con successo e stata trovata a seguito dellanalisi della serie temporale dei neuroni vincenti al variare delle epoche. Si puo mostrare infatti che tale serie va a costituire un attrattore caotico che si mantiene al crescere delle epoche e le cui caratteristiche identificano univocamente il pattern di input che lo ha generato.

Serie dei neuroni vincenti Spazio degli stati in due dimensioni Asse x: da 0 a 20 (numero dordine del peso) Asse y: da -5 a +5 (valore del peso)

21

Sulla base di questa evidenza e stata sviluppata la ITSOM (Inductive Tracing Self-Organizing Map), la cui architettura viene sotto descritta.

Osservando la sequenza temporale dei neuroni vincenti di una SOM si nota che questa tende a ripetersi creando una serie temporale costituente attrattori caotici o precisi cicli limite, e che questi caratterizzano univocamente lelemento di input che li ha prodotti. Di fatto la regola di apprendimento fa s che il peso vincitore rappresenti unapprossimazione del valore dellinput. Ad ogni epoca il nuovo peso vincitore, insieme al peso che ha vinto nellepoca precedente, va a costituire unapprossimazione del secondordine del valore di input, e cosi via. E quindi possibile ricavare il valore dellinput confrontando le configurazioni caratteristiche di ciascun input con un set di configurazioni di riferimento, di cui e noto il valore. Viene cosi effettuato un vero e proprio processo di induzione, perche una volta prodotta una quantizzazione vettoriale molti-a-pochi dallinput sullo strato dei pesi, si opera un passaggio pochi-amolti dalle configurazioni di riferimento alla totalit degli input.

Architettura ITSOM

Questa forma di induzione e molto piu fine di quella ricavabile risalendo dallunico neurone vincente di una rete SOM portata a convergenza agli input ad esso corrispondenti, perche i neuroni dello strato competititvo sono troppo pochi per fornire una classificazione significativa. Altro e invece far riferimento ad un insieme di neuroni, la cui configurazione puo assumere unaltissima variet di forme, dalle quali si potranno discriminare le diverse caratteristiche dellinput. Va sottolineato che la caratteristica di questa rete e che non abbisogna di essere portata a convergenza, perche le configurazioni di neuroni vincenti raggiungono la stabilit necessaria entro poche decine di epoche.

22

Si e verificato che per ottenere i migliori risultati la rete non deve polarizzare su troppo pochi neuroni ma nemmeno disperdersi su tutto lo strato. Lalgoritmo verificato ottimale per riconoscere le configurazioni create dalla rete si basa sul metodo dello z-score. I punteggi cumulativi relativi a ciascun input vengono normalizzati secondo la distribuzione della variabile standardizzata z data da z= (x ) / dove e la media dei punteggi sui vari neuroni dello strato dei pesi e lo scarto quadratico medio. Fissata una soglia 0 < <= 1, che costituisce quindi uno dei parametri di questo tipo di rete, si pone poi z= 1 per z > z= 0 per z <= . In tal modo ogni configurazione di neuroni vincenti e rappresentata da un numero binario formato da uni e da zeri, tanti quanti sono i pesi dello strato di output. E poi immediato confrontare tra loro questi numeri binari. Altri metodi di discriminazione delle configurazioni vincenti sono possibili, tenendo conto che e necessario fuzzificare la loro composizione numerica, in quanto descrivono attrattori caotici che sono costituiti da un nucleo ripetitivo con molte variazioni nel proprio intorno. Il meccanismo di inibizione laterale della SOM e stato scritto tenendo conto dei meccanismi neurofisiologici di mappatura degli stimoli sensoriali sulla neocorteccia: risulta infatti che input simili sono mappati su luoghi vicini della corteccia in modo ordinato e conservativo della topologia. Sia la SOM che le altre reti neurali artificiali fondano il processo di apprendimento sulla ripetizione ciclica dello stimolo di input. Anche nel cervello esiste la prova dellesistenza di circuiti riverberanti che rinforzano limpressione dellinformazione di input sulla mappa corticale. Sembra tuttavia improbabile che tali loop si possano ripetere per migliaia di volte alla ricerca di un bersaglio fisso, anche perche riesce difficile immaginare che il cervello possa andare in seguito a riconoscere solo lultimo neurone attivato come quello piu importante. Appare invece piu ragionevole pensare che lattivit di riverbero si esaurisca spontaneamente con lesaurirsi della scarica elettrica di attivazione, e che le mappe corticali siano costituite da una costellazione di neuroni attivati, la cosiddetta traccia mnestica, che servir successivamente al recupero dellinformazione. Per questo motivo il meccanismo della ITSOM sembra piu fisiologicamente giustificato. Anche il meccanismo induttivo che apprende un numero molto alto di nuove informazioni sfruttando la traccia mestica di un nucleo di informazioni preesistenti sembra ragionevole e confermato da esperimenti neurofisiologici. Il fatto che lapprendimento non sia un processo completamente supervisionato (basato su esempi ), ma nemmeno del tutto non supervisionato, ed abbisogni quindi di almeno un insieme di punti di riferimento noti, sembra confermato sia dallesperienza quotidiana che da numerosi studi.
23

5.2 - ANALISI DINAMICA DELLA ITSOM Anche la SOM puo' essere espressa come modello dinamico non lineare espresso dall'equazione differenziale [RIT86][RIT88]. dx i/dt = Ii - (x i) dove la variabile di output xi puo' essere fatta corrispondere alla frequenza media di scarica del neurone i, Ii l'effetto combinato di tutti gli input sul neurone i, e (.) la somma di tutte le perdite non lineari cui va incontro la scarica. L'architettura SOM e' stata studiata da T. Kohonen a seguito dei suoi studi di neurofisiologia. Altri autori hanno osservato la funzionalit WTA a livello corticale [KOH93]. B. Ermentrout [ERM92] ha studiato un modello corticale in cui il processo WTA ha il duplice ruolo di selezionare lo stimolo piu' importante e rinforzare i pattern dopo la scomparsa dello stimolo. L'autore dimostra che ogni volta che una cellula e' attiva per un certo tempo e poi si spegne, la rete oscilla fra stati diversi, come "ponies on a merry-go-round". L'autore spiega che i cicli limite che si creano sono l'effetto delle soluzioni di biforcazione del sistema dxj/dt = -xj + F(xj, u(t); ) j = 1,, N per N neuroni attivati xj, dove F(x,y;) e' una funzione di due variabili parametrizzate da e t.c. F/dx>0 e F/dy<0, e u(t) e' il feedback inibitorio della forma u(t)=G (xk) , G monotona crescente. L'attivit complessiva x1(t) + .+ xj(t) si dimostra giacere quasi su una traiettoria chiusa, il che significa che che l'attivit eccitatoria totale della rete resta quasi costante. Anche Traub [TRA91] presenta un modello biofisico di questo effetto in cui, anche se i neuroni individuali scaricano in modo casuale, l'intero sistema possiede un comportamento regolare, formando "cicli limite che preservano l'ordine" .

24

Capitolo 6 - ESEMPI DI ANALISI DI SISTEMI DINAMICI NON LINEARI


6.1 - APPLICAZIONE ALLEQUALIZZAZIONE ED ALLA DEMODULAZIONE DI SEGNALI GSM Il segnale GSM un segnale fortemente non lineare, affetto da rumore gaussiano, riflessioni multiple, fading ed effetto Doppler. E solo grazie a sofisticati algoritmi di correzione derrore che e possibile ricostruire un segnale soddisfacente. La maggior parte delle tecniche inglobano equalizzatori e demodulatori di Viterbi basati sul principio di maximum likelihood recuperando adattivamente il segnale (v. Nota). Tuttavia lalgoritmo di Viterbi, oltre ad essere computazionalmente oneroso e pesante e costoso nella sua versione hardware, e sostanzialmente una tecnica lineare che viene utilizzata su un segnale fortemente non lineare. Inoltre anche lalgoritmo di Viterbi, come tutti gli algoritmi tradizionali, diviene rapidamente subottimo se le caratteristiche del segnale deviano dai loro valori teorici [PRO83]. Le reti neurali si pongono quindi almeno in linea di principio come unalternativa efficace alle tecniche di equalizzazione e demodulazione classiche: infatti presentano naturale somiglianza con gli equalizzatori standard e sono degli ottimi classificatori anche su insiemi topologicamente complessi, ma posseggono in piu rispetto ad equalizzatori e demodulatori standard la capacit di elaborazione non lineare [PET90][PFE93][PHA94]. Un ricevitore neurale deve essere in grado di gestire canali di comunicazione tempovarianti. Molti schemi differenti sono stati proposti per elaborare pattern spazio temporali . Come si visto nel Cap. 4, le migliori prestazioni si ottengono con reti strettamente dinamiche dotate di state feedback, realizzato con opportune connessioni fra nodi : i nodi ricevono come segnali di ingresso sia linput vero e proprio che loutput della rete al tempo precedente.

Nota. Un ricevitore consiste di un equalizzatore e di un demodulatore in cascata. Di fatto un equalizzatore e uno strumento che alla fine della catena di trasmissione compensa le caratteristiche indesiderate del canale e fornisce al demodulatore una sequenza di simboli, ai quali il demodulatore dovr attribuire la corretta regione di decisione. La struttura di un equalizzatore standard fa uso di una linea di ritardo a prese che immagazzina n campioni xn che vengono cambiati linearmente per produrre luscita dellequalizzatore yn = c xn dove c e il vettore delle prese. Per ricostruire correttamente gli xn e necessario ottimizzare il vettore delle prese, e per far questo si utilizza un algoritmo del gradiente che minimizza lerrore ricorsivamente, molto simile allalgoritmo del gradiente decrescente [QUR85]. La demodulazione e invece sostanzialmente una mappatura dei segnali ricevuti su un insieme atteso di simboli. Il piu potente demodulatore utilizzato attualmente, il demodulatore di Viterbi, utilizza un metodo di decodifica convoluzionale.

25

Un ricevitore neurale (equalizzatore + demodulatore) e stato testato usando modulazione QPSK di un canale affetto da fading ed effetto Doppler. La limitazione di banda (che e una caratteristica tipica dei canali reali) e stata ottenuta con filtri Butterworth e Chebiceff e causa inoltre interferenza intersimbolica (ISI), ossia sovrapposizione di segnali successivi nel tempo. Linformazione e codificata mediante una sequenza NRZ (Not Return to Zero) (simulata da un generatore di sequenze di bit +1/-1 ) divisa in pacchetti con la struttura del burst GSM (148 bit, di cui 3 di testa e tre di coda, 58 bit informativi, 26 di middambolo noto, 58 informativi). La modulazione QPSK associa alla parola da trasmettere 4 simboli corrispondenti ad altrettanti sfasamenti della portante trasmessa. Alla sequenza di 2 bit corrispondente ad un simbolo corrisponde uno sfasamento esprimibile in un valore di fase ed uno di quadratura. In questo modo e possibile ottenere una corrispondenza uno a uno fra bit da recuperare e valore numerico di fase e quadratura, che permette alla rete di ottenere una corrispondenza uno a uno fra uscita del canale e sequenza di bit di partenza[XIA96] [FAV97]. E stata inizialmente utilizzata una rete RBP sul modello Williams/Pineda (v. par. 4.2) [WAT90][KEC94]. Il numero di nodi utilizzati dalla rete RBP e stato selezionato sperimentalmente, ottenendo le migliori prestazioni con 74 nodi di input, 148 nascosti e 74 di output, il che permette alla rete di mantenere una simmetria rispetto al middambolo. La rete e stata addestrata fornendole i dati di canale attraverso una delay line il cui numero di prese e stato posto uguale al numero di input della rete. In sistema produce un output che e funzione sia degli output precedenti che dellinput corrente. Sono state simulate condizioni del canale radio su terreno rurale, collinoso ed urbano, con velocit di 10,50,100 e 250 kmh. Il ricevitore e stato confrontato con le prestazioni dei ricevitori coerente e di Viterbi, sia in condizioni di banda infinita che utilizzando filtri Butterworth e Chebiceff con diverse caratteristiche. I limiti dellapproccio descritto sono di due tipi: da una parte la fase di addestramento estremamente lenta (anche piu di 48 ore su DECstation 5000/240), dallaltra parte limpossibilit di ottenere una matrice di pesi efficace per qualsiasi variazione del canale. Mentre la fase di training ha mostrato una capacit quasi perfetta di recuperare il segnale, la fase di testing migliora in percentuale con laumentare del numero dei campioni e mostra una interessante insensibilit al crescere dello SNR, ma le prestazioni restano elevate solo utilizzando matrici di pesi differenti a seconda dei terreni su cui le simulazioni venivano effettuate. Lesigenza di creare matrici di pesi differenti per condizioni diverse del canale rende difficile lutilizzo industriale della rete, perche dovrebbe prevedere un algoritmo di rilevazione automatica del tipo di terreno e di shifting automatico delle matrici di pesi. Un tentativo di seguire le fluttuazioni del canale addestrando una piccola rete RBP in tempo reale si e rivelato infruttuoso, perche la rete fatica a generalizzare se laddestramento non e compiuto su un adeguato numero di campioni. Per questo motivo si e rivolta lattenzione alle reti non supervisionate [KOH90][RIT93], nel tentativo di sviluppare un ricevitore neurale che potesse adattarsi in tempo reale alle fluttuazioni del canale. E stata implementata una rete ITSOM con 74 nodi di input + 74 di ricorrenza e un numero di nodi di strato competitivo fra 15 e 35, utilizzata come equalizzatore e demodulatore in cascata.

26

La rete e stata dotata di diversi parametri di tuning: il tasso di apprendimento, un tasso di dimenticanza che punisce i neuroni esterni alla neiborhood, ed una coscienza [DES88] che limita il numero di eventi vincenti per ciascun neurone, evitando la polarizzazione su pochi neuroni. I parametri su cui la rete si e mostrata piu sensibile sono stati il tasso di apprendimento e la dimensione dello strato competitivo. La simulazione sui singoli bit di input evidenzia attrattori caotici, spesso addirittura ciclici, formati dal succedersi periodico dei neuroni vincitori (Simulink metodo Runge-Kutta).

Attrattore dei neuroni vincenti relativi al bit -1

La stabilit del sistema nei suoi attrattori si mantiene al crescere delle epoche. Lesistenza di pattern organizzati allinterno della serie temporale dei pesi vincitori per ciascun elemento di input confermata dalla funzione di autocorrelazione [BRO91]. Per serie univariate la funzione di autocorrelazione di una serie di media e varianza x2 data da (k) = (k) / x2 (k) = E(xi )(xi+k ) funzione di autocovarianza della serie x(t) al lag k. Un diagramma di autocorrelazione mostra quindi levidenza o meno di correlazione temporale fra i termini di una serie. Tutti i diagrammi mostrano evidenti pattern sinusoidali, prova di componenti cicliche nellandamento della serie.
27

k=0,+-1,+-2,

Inoltre la sagoma dei diagrammi del singolo bit simile per bit di uguale valore:

Funzione di autocorrelazione di un bit -1

Funzione di autocorrelazione di un bit +1

confermando la corrispondenza fra pattern organizzato creato dalla serie dei neuroni vincenti e specifica classe di bit.

Le prestazioni della rete a banda infinita e a banda limitata da filtri sono state confontate su canale gaussiano e canale affetto da fading per tratta rurale, collinare e urbana. I confonti con il demodulatore di Viterbi mostrano migliori performances della rete neurale nel caso gaussiano , mentre su canale affetto da fading, su qualsiasi tratta, la rete neurale resta competitiva.

28

Grafico Bit Error Rate in funzione di Signal to Noise Ratio fra 8 e 20 dB Canale gaussiano banda infinita

Grafico Bit Error Rate in funzione di Signal to Noise Ratio fra 8 e 20 dB Canale gaussiano tratta rurale 250 km/h

Aggiungendo filtri Chebiceff le prestazioni della rete restano sempre confrontabili con quelle del ricevitore di Viterbi, anche in condizioni estreme (filtro Chebiceff da 6 poli a 4 poli, banda passante normalizzata da 0.9 a 0.7).

29

Grafico Bit Error Rate in funzione di Signal to Noise Ratio fra 8 e 20 dB Banda passante 0.7

In tutti i casi la rete neurale si mostra superiore sia al demodulatore coerente che a quello differenziale. Se invece confontiamo le prestazioni della ITSOM come equalizzatore rispetto allequalizzatore MSE standard, si nota che la ITSOM si mostra decisamente superiore su tutte le condizioni. Si puo concludere che il ricevitore neurale si mostra estremamente competitivo rispetto al ricevitore ottimo. Tuttavia mentre il ricevitore neurale funziona in tempo reale agganciando le fluttuazioni non lineari del canale, le prestazioni del demodulatore di Viterbi cosi come vengono presentate nei grafici sono sempre intese calcolate su un canale di cui e nota a priori la statistica: in condizioni reali le prestazioni del Viterbi divengono immediatamente subottime.

Confronto fra equalizzatori

30

Va infine osservato che le prestazioni della ITSOM si mostrano su tutte le condizioni migliori di quelle delle reti backpropagation ricorrenti. La fattibilit di un ricevitore neurale e inoltre particolarmente interessante per la minor complessit computazionale (logaritmica) rispetto allalgoritmo di Viterbi (esponenziale) [CHO93] [CHE92] [PIZ97].

6.2 ANALISI NON LINEARE DI SEGNALI CORTICALI E BINDING FUNZIONALE DELLE PERCEZIONI Unapplicazione dellanalisi non lineare stata testata nello studio del cosiddetto binding problem, ossia del problema di comprendere lorigine dellunit percettiva della coscienza nella molteplicit degli stimoli sensoriali. Molti neurofisiologi [MIT99][ROD99][VAR95][JOL94] hanno proposto che tale unit possa essere connessa allorganizzazione delle onde gamma (~ 40 Hz) emesse dai neuroni corticali, che in molti studi risultano sincronizzarsi anche in siti distanti in presenza di stimoli sensoriali, e potrebbero quindi realizzare un binding funzionale.

E stato proposto che lattivit di oscillazione ad alta frequenza nella corteccia limbica sia legata al binding funzionale nel corso delle funzionalit cerebrali superiori, come memoria e apprendimento. Pattern coerenti globali di attivit neuronale sono attualmente considerati il principale correlato allattivit di esperienza cosciente[FRE94][MEN96]. La possibilit di registrare simultaneamente attraverso microelettrodi lattivit di siti distanti della corteccia ha portato a riuscire ad analizzare il meccanismo per cui lattivit di una collezione di neuroni pu essere coordinata in un pattern unico. E stato proposto che i neuroni della corteccia sensoriale interagiscano diffusamente e che i potenziali dazione evocati dagli stimoli portino allemergere di un pattern autoorganizzato di attivit come risposta corticale allo stimolo [AMA88]. E stato inoltre provato che lattivit gamma nella corteccia entorinale (ERC) pu essere riprodotta con lapplicazione di carbacolo. Al fine di valutare le possibili correlazioni presenti nei dati stata utilizzata la rete ITSOM descritta pi sopra, in modo da evidenziare la presenza di eventuali cicli limite o attrattori caotici. Sono inoltre stati utilizzati strumenti di analisi non lineare per valutare quantitativamente gli attrattori generati dalla rete, ossia dimensione di correlazione, parametro di Hurst e Recurrence Quantification Analysis. Gli stessi parametri sono stati usati per analizzare le serie temporali originarie, e sono stati poi confrontati i risultati provenienti da ambedue le fonti. Le tracce elettrofisiologiche sono state ottenute da cervello di cavia isolato artificialmente [DIC00]. Si e visto che lattivit gamma puo essere indotta nella corteccia entorinale mediana (ERC) di cavie cui viene somministrato carbacolo (50-100 M), simulando lattivit attenzionale in presenza di stimolo sensoriale.

31

Lattivit gamma viene registrata simultaneamente in punti diversi (fino a 20) separati da circa 1mm nella ERC mediana [CRO98].

Diversi files provenienti dal monitoraggio di 4 diversi siti nella corteccia entorinale sono stati registrati prima, durante e dopo la simulazione di uno stimolo attenzionale mediante la somministrazione di carbacolo.

E R E R

C 1 C 2

A
E R E R C 1 C 2

Corteccia entorinale mediana segnali prima e dopo lattivazione

I segnali sono stati considerati simultaneamente su tutti i siti di registrazione per valutare la correlazione delle attivit. Gli stessi record sono stati uitlizzati come input per la ITSOM, e la serie temporale dei neuroni vincenti stata elaborata con MATLAB/SIMULINK. Il simulatore ha permesso di evidenziare leventuale presenza di cicli limite o attrattori caotici, visualizzando la loro traiettoria nello spazio delle fasi. In condizioni di controllo (prima dellattivazione delle oscillazioni rapide), i grafici evidenziano una certa organizzazione sul singolo record, ma pattern a struttura random o scarsamente organizzata nel caso di segnali provenienti da pi siti contemporaneamente. Tuttavia, dopo linduzione di attivit oscillatoria attraverso lapplicazione di carbacolo, si presentano pattern pi caotici, con valori simili ma mai identici, e forme fortemente simmetriche.

32

Simulink metodo Runge-Kutta Spazio degli stati prima e dopo limmissione di carbacolo.

Al fine di valutare quantitativamente gli attrattori trovati dalla rete sono stati utilizzati il parametri di Hurst, la dimensione di correlazione e la Recurrence Quantitative Analysis [PIZ01]. Il parametro di Hurst, costantemente sotto il valore di 0.4 prima dellimmissione di carbacolo, sale nettamente dopo carbacolo e supera la soglia dello 0.5, raggiungendo spesso lo 0.8. Ci sta ad indicare che i segnali si organizzano durante lo stimolo e mantengono lorganizzazione per un certo tempo dopo lo stimolo. La dimensione di correlazione non sembra essere un parametro significativo perch si mantiene costante nel range 2.6-3.2 (usando 10 come valore di embedding dimension) prima e dopo lo stimolo: questo valore sembra essere caratteristico del tipo di segnale. Va rilevato che la dimensione >2 evidenzia un generico comportamento caotico della serie. Daltra parte la misura di determinismo della serie embedded, valutata con il metodo RQA, conferma lo stesso netto aumento dopo lo stimolo mostrato dal parametro di Hurst, saltando fino ad oltre il 90% e mantenedo questo valore molto altro per un certo tempo. I Recurrence Plots confermano lesistenza di pattern estremamente regolari ed evocativi in corrispondenza di alti valori di H.

Recurrent plots della serie dei neuroni vincenti

33

Lanalisi contestuale delle serie temporali originarie con metodi lineari (coerenza computata attraverso power spectrum e cross power spectrum) testate su siti distanti conferma un incremento dei valori dopo lo stimolo ma si mantiene pi bassa di 0.4 in tutte le prove. Lanalisi non lineare sul singolo record o su due record conferma sostanzialmente i risultati della ITSOM.

Recurrent Plots della serie originaria

Tuttavia in alcuni casi esistono delle differenze il cui significato neurofisiologico non noto e andrebbe investigato pi da vicino. In generale va detto che la ITSOM identifica strutture autoorganizzanti pi sepsso dellanalisi non lineare numerica. Ci pu suggerire una pi fine sensibilit delle reti neurali, per quanto non debba essere esclusa la possibilit di falsi positivi. Daltra parte i valori del parametro di Hurst provenienti dalla ITSOM risultano spesso pi alti dei corrispondenti valori provenienti dalla serie originaria. Va inoltre sottolineato che, a differenza dellanalisi non lineare sulla serie originaria, lanalisi compiuta con rete neurale ha permesso di analizzare simultaneamente tutti i siti di registrazione, testando la loro possibile sincronicit. Inoltre anche possibile, una volta trovato un pattern organizzato, identificarlo attraverso il suo z-score e quindi riconoscere lo stesso attrattore ogni volta che linsieme dei segnali ne genera uno. In conclusione il lavoro conferma lesistenza di una coerenza non lineare (in forma di attrattori caotici) nelle oscillazioni rapide indotte sulla corteccia di cavia, suggerendo che un possibile binding funzionale di natura caotica avvenga fra regioni distanti della corteccia entorinale. Il metodo utilizzato permette di testare la coerenza delle registrazioni provenienti da tutti i siti . E inoltre possibile continuare lanalisi del significato di tali pattern attraverso la possibilit di confrontare attrattori simili nel tempo.

34

Ricerche di W. Freeman ([FRE87] e successivi lavori) hanno gi proposto, attraverso uno studio con microelettrodi impiantati sulla corteccia di conigli e registrati durante lemissione sperimentale di odori, che i neuroni corticali interagiscono diffusamente facendo emergere pattern spazio-temporali caotici, ripetitivi in corrispondenza del singolo odore e diversi in risposta a stimoli diversi. Anche questo lavoro conferma quindi lipotesi che lattivit coordinata dei neuroni corticali a 40 Hz possa chiarire lorigine del binding sensoriale che noi tutti percepiamo.

35

BIBLIOGRAFIA

[ATM92] Atmanspacher H., Kurths J., Complexity and Meaning in Nonlinear Dynamical Systems, in: Open Systems and Information Dynamics, 1, 269-289, 1992. [AMA88 ] Amari S., Dynamical stability of Formation of Cortical Maps, in :Arbib A.. Amari S., Kosko B. eds., Dynamic Interactions in NeuralNetworks : Models and Data, Springer 1988. [BEN93] Bengio Y, Frasconi P.. Gori M., Soda G., Recurrent Neural Networks for Adaptive Temporal Processing, Proc. Neural Nets WIRN Vietri1993, Salerno 1993. [BRO91] Brockwell P.J., Davis R.A., Time Series: Theory and Methods, Springer Series in Statistics, Springer 1991. [CAR91]Carpenter G.A:, Grossberg 5., Reynolds J.H., ARTMAP: Supervised real-time learning and classification of nonstationary data by a self-organizing neural network, Neural Networks,vol. 4, issue 5, pag. 565,1 99 1 . [CAT93] Catfolis T.,A method for improving the real-time recurrent learning algorithm, Neural Networks, 6, 1993, pp.807-821. [CHE92] Chen O., Sheu B., Fang W., Image Compression on V LS l Neural-based, Vector Quantizer, Information Processing and Management, Vol. 28, N.6, 1992. [CHO93] Choi J., Bang S.H., Sheu B.J., A Programmable Analog VLSI Neural Network Processor for Communication receivers, IEEE Trans on Neural Networks, voI. 4, N. 3., 1993. [COH87] Cohen M.A:, Grossberg S., Stork D., Recent Developments in a Neural Model of Real-Time Speech Analysis and Synthesis, IEEE First International Conf on Neural Networks, vol. 4, 1987. [CRO98] Chrobak J.J., Buzsaki G., Gamma oscillations in the entorhinal cortex of the freely behaving rat. J Neurosci 18 (1998) 388-398. [DES88] Desieno D., Adding Conscience to competitive learning, Proc. Int. Conf. On Neural Networks, 1, IEEE Press 1988. [DEV92] De Veciana G., Zakhor A., Neural Net-Based Continuous Phase Modulation Receivers, IEEE Trans. on Communications, VoI. 40, N.8, August 1992. [DIC00] Dickson C.T., Biella G. and de Curtis M., Evidence for spatial modules mediated by temporal synchronization of carbachol-induced gamma rhythm in medial entorhinal cortex, J Neurosci 20 (2000) 7846-7854.

36

[ERM92] Ermentrout B, Complex Dynamics in WTA Neural Networks with slow inhibition, Neural Networks 5, 1992. [FAV97] Favalli L., Pizzi R., Mecocci A., Non linear Mobile Radio Channel Estimation Using Neural Networks, Proc. of DSP97 Int. Conf. on Digital Signal Processing, Crete (1997). [FRE87] Freeman WJ, Relation of olfactory EEG on behaviour: time series analysis, Behavioural Neuroscience 100, 1987. [FRE94] Freeman W.J., Role of Chaotic Dynamics in Neural Plasticity, in: The Self-organizing Brain: from Growth Cones to Functional Networks, Van Pelt J. and Lopes da Silva F.H. (eds) Elsevier (1994) . [FUN93] Funahashi K, Nakamura Y, Approximation of Dynamical Systems by Continuous Time Recurrent Neural Networks, Neural Networks 6, 1993. [GEL95] Gell-Mann M., What is Complexity ?, Complexity 1, 16-19, 1995. [GLE87] Gleick J., Chaos, Viking New York 1987. [GRA83] Grassberger P., Procaccia I., Measuring the strangeness of a strange attractor, Physica D. 9 (1983) 189-208. [GRE94] Green D., Emergent behavior in biological systems, Complexity Int., Vol. 1 Aprile 1994. [GRO87]Grossberg 5., Recent Developments in the Design of real-time non-linear Neural Networks Architectures, IEEE First Int. Conf on Neural Networks, 1987. [GRO90] Grossberg 5., Carpenter G.A., Self-organization Neural Network Architectures for Real-Time Adaptive Pattem Recognition, in: Zometzer S.F. ed., An Introduction to Neural and Electronic Networks, 1990 Academic Press. [HEC90] Hecht-Nielsen Robert, Neurocomputing, Addison W esley l 990. [HEY92] Heylighen F., Self-Organization, Emergence and the Architecture of Complexity, Proc. European Congress on System Science, AFCET Paris p. 23-32, 1992. [HOP84] Hopfield J.J., Neural Networks and Physical Systems with Emergent Collective Computational Abilities, Proc. Nat. Acad. Sci USA, 1984, 81. [HUR65] Hurst H.E., Black R.P., Sinai Y.M., Long Term Storage in reservoirs. An Experimental Study, Constable 1965. [JAC89] Jackson E., Perspectives in Nonlinear Dynamics, Vol. 1&2, Cambridge Un. Press 1989.

37

[JEF91 ] Jeffries C., Code Recognition and Set Selection with Neural Networks, Birkhauser Boston 1991. [JOL94] Joliot M., Ribary U. & Llinas R., Human oscillatory brain activity near 40 Hz coexists with cognitive temporal binding, Proc. Natl. Acad. Sci USA 91 (1994) 11748-11751 . [KAP95] Kaplan D., Glass L., Understanding Nonlinear Dynamics, Springer 1995. [KEC94] Kechriotis G., Zervas E., Manolakos E.S., Using Recurrent Neural Networks for Adaptive Communication Channel Equalization, IEEE Trans. on Neural Networks, Vol. 5, N. 2, March 1994. [KOH83] Kohonen T, Self-Organisation and Association Memory, Springer Verlag 1983. [KOH90] Kohonen T, Raivio K., Combining Linear Equalization and Self-Organizing Adaptation in Dynamic Discrete-Signal Detection, International Joint Conference on Neural Networks, San Diego 1990. [KOH93] Kohonen T., Physiological Interpretation of the Self-Organizing Map Algorithm, Neural Networks, Vol. 6, pp 895-905. 1993. [MAN83] Mandelbrot B., The Fractal Geometry of Nature, Freedman & Co, New York 1983. [MAR91] Maren A., Neural Networks for Spatio-temporal Pattrn Recognition, in: Handbook of Neural Computation Applications. ed. by Maren A.J., Harston C.T., Pap R.M., Academic Press 1991. [MAR91b]Maren A.. Jones D., Configuring and Optimizing the Back-Propagation Network, in: Handbook of Neural Computing Applications, ed. By Maren A.J., Harston C.T., Pap R.M., Academic Press 1991. [MEN96] Menon V., Freeman W.J., Spatio-temporal Correlations in Human Gamma Band Electrocorticograms, Electroenc. and Clin. Neurophys. 98 (1996) 89-102. [MIT99] Mitner W.H.R., Braun C., Arnold M., Witte H. and Taub E.: Coherence of Gammaband EEG Activity as a Basis for Associative Learning, Nature, 397 (1999) 434-436. [NAR91] Narendra K.S., Parthasarathy K.. Gradient methods for the optimization of dynamical systems using neural networks, IEEE Trans. on Neural Networks, 2, 252-262, March 1991. [OTT93] Ott, E. "Appendix: Hausdorff Dimension." Chaos in Dynamical Systems., New York, Cambridge University Press, pp. 100-103, 1993. [PEI92] Peitgen H.O., Jurgens H., Saupe D., Chaos and Fractals. New Frontiers of Science, Springer 1992. [PET90] Petsche T., Dickinson B.W., Trellis Codes, Receptive Fields and Fault Tolerant, SelfRepairing Neural Networks, IEEE Trans. on Neural Networks, Vol. 1 , N.2, June 1990.
38

[PFE93] Pfeiffer G., Maximum Likelihood Sequence Estimation of Minimum Shift Keying Signals Using a Hopfield Neural Network, International Joint Conference on Neural Networks, S. Francisco 1993. [PHA94] Pham C., Ogunfunmi T.. Multiple-Symbol Diffrential Detection of M-DPSK Using Neural Network, IEEE Intemational Conference on Neural Networks, Orlando l 994. [PIN87] Pineda F., Generalization of Backpropagation to recurrent and Higher order Neural Networks. Physical Review Letters, 18, 2229-2232. 1987. [PIN88] Pineda FJ, Dynamics and Architectures for Neural Computation, J. of Complexity 4,1988.

[PIZ97] Pizzi R., Teoria dei Sistemi Dinamici Neurali con Applicazione alle Telecomunicazioni , Tesi di Dottorato in Ingegneria Elettronica, Universit di Pavia (1997). [PIZ01] Pizzi R., de Curtis M., Dickson C., Evidence of Chaotic Attractors in Cortical Fast Oscillations Tested by an Artificial Neural Network, Proc. WILF2001, Milano maggio 2001 , Springer Verlag, in press. [PRO83] Proakis J.G., Digital Communications, McGraw-Hill l 983. [QUR85] Qureshi S., Adaptive Equalization, Proc. IEEE vol. 73, N. 9, pp. 1349-1387, 1 985. [RIT86]Ritter H., Schulten K., On the Stationary State of Kohonen's Self-Organizing Sensory Mapping, Biological Cybemetics 54. 1986, pagg. 99-106. [RIT88] : Ritter H., Schulten K., Convergence properties of Kohonen's Topology Conserving Maps : Fluctuations, Stability, and Dimension Selection, Biological Cybemetics 60, pagg. 59-71, Springer 1988. [RIT93]Ritter Helge, Obermayer K., Schulten K., Rubner J., Self-0rganizing Maps and Adaptive Filters, in : E. Domany ed., Models of Neural Networks, Springer 1993. [ROD99] Rodriguez E., George N., Lachaux J.P., Martinerie J., Renault B. and Varela F.J., Perceptions Shadow: Long-distance Synchronization of Human Brain Activity, Nature, 397 (1999) 430-433. [ROS70] Rosen R., Dynamical System Theory in Biology, Vol. 1 , Stability Theory and its applications, Wiley Interscience 1970. [ROS72] Rosen R., Foundations of Mathematical Biology, Ac. Press New York 1972. [RUM86] Rumelhart D., McClelland J., Parallel Distributed Processing: Explorations in microstructure of Cognition, I&II, MIT Press 1986.
39

[SCH92] Schepers H.E., van Beek J., Bassingthwaighte J.B. Four methods to estimate the fractal dimension from self-affine signals, IEEE Engineering in Medicine and Biology 11 (1992) 57-64. [STA02] Standish R.K., On complexity and emergence, Complexity Int., Vol. 09, 2002 in press. [SUD91] Sudharsanan 5.1., Sundareshan M.K., Equilibrium Characterization of Dynamical Neural Networks and a Systematic Synthesis Procedure for Associative Memories, IEEE Trans. on Neural Networks, VoI. 7 N. 5, Sept. 1991 . [TRA91] Traub R., Miles R., Neuronal Networks of the Hippocampus, Cambridge Un. Press 1991. [VAR95] Varela F.J., Resonant cell assemblies: a new approach to cognitive function and neuronal synchrony, Biol. Res. 28 (1995) 81-95 . [W AT90] Watterson J.W., An Optimum Multilayer Perceptron Neural Receiver for Signal Detection, IEEE Trans. on Neural Networks, VoI. 1, N. 4, December 1990. [WIL89] Williams RJ, Zipser D, A lerning algorithm for continually running fully recurrent neural network, Neural Computation I, 270-280, 1989. [WIL90] Williams RJ, Peng J, An efficient gradient-based algorithm for on-line training of recurrent network trajectories. Neural Comp 1990,2, 4, 490-501 . [XIA96] Xiao-An Wang, Wicker S.B., An Artificial Neural Net Viterbi Decoder, IEEE Trans. on Comm. vol. 44, n.2, Feb 1996. [ZBI92] Zbilut JP, Webber CL, Embeddings and delays as derived from quantification of recurrent plots, Phys. Lett. 171, 1992.

40