Capitolo 3 Reti neurali artificiali

Capitolo 3

Reti neurali artificiali

3.1

Neurone biologico ed artificiale

Lintelligenza artificiale la disciplina che sviluppa tecniche che permettono ai calcolatori di svolgere funzioni e ragionamenti tipici della mente umana. Lo studio delle reti neurali inizia nel 1943 con i lavori di McCulloch e Pitts che dimostrano che una qualunque funzione logica pu essere implementata con una rete di elementi a soglia con due stati. Ogni macchina a stati finiti pu essere quindi simulata da una rete neurale artificiale costituita da un insieme di nodi, detti neuroni artificiali. Il neurone, o cellula nervosa, lunit fondamentale del tessuto nervoso che gode di particolari propriet che gli permettono di trasmettere,

15

Capitolo 3 Reti neurali artificiali ricevere ed integrare impulsi nervosi.

Fig 3.1: Neurone biologico. La cellula nervosa costituita da un corpo centrale, detto soma, e da due tipi di terminazioni, i dentriti e lassone. I dentriti raccolgono gli impulsi nervosi trasmessi da altri neuroni, mentre lassone propaga gli impulsi dal soma verso gli altri neuroni. La trasmissione degli impulsi realizzabile grazie a dei collegamenti, posti tra le terminazioni nervose, detti sinapsi. Le sinapsi hanno la capacit di "modulare" il valore dei segnali che trasmettono. Infatti esse possono regolare gli impulsi che propagano secondo il loro andamento tipico. Quindi, se un collegamento tra due neuroni viene attraversato da segnali di piccola ampiezza, esso ridurr il valore di un impulso pi grande avvicinandolo, in parte, a quello dellimpulso medio che trasmette solitamente. Levoluzione della

modulazione sinaptica non cessa mai, infatti questa capace di mutare le sue caratteristiche nel tempo, adattandosi di volta in volta allandamento degli impulsi nervosi trasmessi. Proprio questa capacit di adattamento ha stimolato lo sviluppo di un oggetto che emulasse il comportamento delle cellule neurali, cio il neurone artificiale. Questo un modello matematico molto semplificato del neurone biologico costituito da una serie di ingressi e da unuscita. Emulando il comportamento delle sinapsi, ad ogni ingresso associato un

16

Capitolo 3 Reti neurali artificiali vettore di pesi che modella i valori di input. La somma pesata degli ingressi viene confrontata con una soglia, che determina lattivazione, o meno, del neurone ed il relativo valore fornito in uscita. Una rete neurale artificiale costituita da un insieme di neuroni artificiali, o nodi, interconnessi. Il loro scopo quello di acquisire informazioni, accumulando una vera e propria conoscenza, per poi essere capaci di risolvere efficacemente problemi dinamici nel tempo. Le reti neurali sono solitamente organizzate in strati, o livelli, costituiti da neuroni che svolgono tutti il medesimo ruolo. Possiamo definire tre tipi di strati di neuroni: di ingresso, nascosti e di uscita. Non esistono limitazioni riguardo il numero di strati da utilizzare o il numero di neuroni per strato, tuttavia sono presenti degli schemi generali riguardanti le topologie, quindi le modalit di connessione tra neuroni e tra livelli, e le tecniche di apprendimento delle reti neurali.

3.2

Architettura della rete

E possibile configurare le connessioni tra i neuroni artificiali in vari modi. Questi condizionano la topologia della rete nonch il suo comportamento.

3.2.1 Feedforward
Le connessioni feedforward permettono unicamente la comunicazione unidirezionale senza la possibilit di formare cicli. Dato che, come precedentemente detto, le reti neurali sono solitamente organizzate in strati, tali connessioni permetteranno la comunicazione solo tra uno strato ed il successivo, impedendo di effettuare "salti" o connessioni allinterno

17

Capitolo 3 Reti neurali artificiali del medesimo strato. Un esempio di rete feedforward mostrato in figura 3.2. Questa modalit di comunicazione rende le reti che la utilizzano molto rapide poich, senza la presenza di cicli o di propagazione orizzontale (cio allinterno dello stesso livello), il segnale attraversa la rete percorrendo la direzione pi breve fornendo il risultato dellelaborazione il prima possibile.

Fig 3.2: Rete neurale con connessione feedforward.

3.2.2 Feedback
Le reti feedback un neurone pu essere connesso a qualunque altro neurone della rete, sia che si trovi sullo stesso livello, nel caso in cui si parla di collegamento laterale, sia su un livello precedente o successivo. Grazie a questo tipo di collegamento le reti feedback sono solitamente composte da poche unit neurali poich, grazie alla retroazione, la rete in grado di evolvere dinamicamente fino ad uno stato stabile attraverso il quale viene formulata una risposta. Questo tipo di reti fa uso di molta memoria a causa del grande numero di interconnessioni presenti, in media molto maggiori di quelle presenti in reti feedforward.

18

Capitolo 3 Reti neurali artificiali

Fig 3.3: Rete neurale con connessioni feedback.

3.3

Tipi di apprendimento

Come gi detto, lobiettivo di una rete neurale quello di acquisire una propria conoscenza dalle informazioni fornitegli in input per formulare soluzioni a problemi che evolvono nel tempo. E necessario, quindi, che alle reti venga data la conoscenza necessaria per poter lavorare. Ci viene fatto in un processo detto apprendimento, o addestramento, che viene eseguito sulla rete prima che questa possa iniziare ad essere utilizzata. Esistono diversi approcci alladdestramento delle reti neurali, questi, si basano tutti sulla modifica dei vettori dei pesi che costituiscono le interconnessioni tra neuroni. La modifica di questi valori viene effettuata attraverso formule matematiche dette leggi di apprendimento. Solitamente, larchitettura della rete neurale, non vincola lutilizzo di un particolare approccio di addestramento, ma possibile utilizzare qualunque paradigmi esistente senza avere la necessit di cambiare modello di rete.

19

Capitolo 3 Reti neurali artificiali

3.3.1 Non supervisionato

La tecnica di apprendimento non supervisionata prevede la modifica dei pesi attraverso luso delle sole variabili di ingresso. In questo modo la rete autogestisce la sua evoluzione non richiedendo il controllo da parte di entit esterne. Questo metodo viene solitamente utilizzato per problemi di data mining, cio problemi in cui non si hanno informazioni oltre ai dati dingresso. In tali ambiti si richiede alla rete neurale una certa indipendenza organizzativa, cio la capacit di estrarre informazioni dai dati in ingresso e trovare legami che le leghino in modo da poter stabilire un criterio di discriminazione valido per gli ingressi originali.

3.3.2 Supervisionato
Nel caso in cui si disponga di un set di ingressi correlato dalle uscite corrispondenti possibile applicare il paradigma di apprendimento supervisionato. Attraverso gli esempi ingresso-uscita la rete modifica i vettori dei pesi in maniera che questi abbiano errore minimo nel calcolare i risultati relativi agli ingressi esempio. Completata la procedura, la rete in grado di stabilire la relazione che lega gli ingressi alle uscite e diventa utilizzabile con qualunque input. Questo tipo di approccio viene solitamente utilizzato per problemi di classificazione.

3.3.3 Basato sul rinforzo

Lapprendimento basato sul rinforzo un ibrido tra i due metodi presentati precedentemente. Questa tecnica si basa, come per

lapprendimento

supervisionato,

sullintervento

esterno

durante

20

Capitolo 3 Reti neurali artificiali lacquisizione di informazioni. La rete, infatti, riceve un segnale di rinforzo che premia o penalizza il modo in cui ha calcolato la risposta ad un determinato ingresso. I pesi vengono modificati in modo da massimizzare il segnale di rinforzo, cio in modo che la rete dia dei risultati che vengano premiati.

3.4

Tipi di rete neurale artificiale

3.4.1 Percettrone
Il percettrone la rete neurale pi semplice nonch la prima forma di rete mai sviluppata. La struttura del percettrone quella del neurone artificiale, mostrata in figura 3.4 (a), cio un vettore di pesi per ogni ingresso ed una funzione di attivazione a soglia. Il percettrone pu essere utilizzato singolarmente, potendo implementare funzioni semplici come quelle booleane NOT, OR ed AND, o come rete neurale composta da una serie di percettroni connessi con architettura feedforward, in grado, potenzialmente, di risolvere problemi di qualunque complessit.

Fig 3.4: (a) Percettrone (b)Rete di percettroni a tre livelli.

21

Capitolo 3 Reti neurali artificiali Solitamente la rete di percettroni, o MLP, MultiLayer Perceptron, viene utilizzata con un paradigma supervisionato, quindi necessario disporre di un set di coppie ingresso-uscita desiderata. La fase di apprendimento deve essere ripetuta diverse volte per permettere alla rete di acquisire sufficiente conoscenza del legame input-output in modo da commettere il minimo errore nella stima dei risultati. Definiamo lunit di tempo chiamata epoca, come il tempo necessario alladdestramento per aggiornare i valori di tutti i pesi della rete. Solitamente literazione viene arrestata nel momento in cui lerrore, calcolato come differenza tra output fornito e quello auspicato, non risulta nullo. La formula per

laggiornamento dei vettori dei pesi :

w(t + 1) = w(t ) + (g(x) f (x)) x

dove

(3.1)

w(t ) il vettore dei pesi al passo t-esimo, il parametro di

g(x) loutput fornito

apprendimento, cio un numero reale positivo, dalla rete, f (x) loutput desiderato ed

lingresso. Come possibile

notare dalla formula 3.1, nel momento in cui luscita coincide con quella desiderata i pesi non subiscono ulteriori trasformazioni. Solitamente, per laddestramento di reti multistrato MLP utilizzato lalgoritmo

backpropagation, tuttavia non verr analizzato in questa sede e, per una documentazione a riguardo, si rimanda il lettore al testo [14].

3.4.2 SOM
La rete neurale SOM, o Self Organizing Map, stata ideata e proposta da Kohonen in [13]. La SOM , probabilmente, il modello pi utilizzato di rete neurale. Essa costituita da una mappa di neuroni, cio un vettore, solitamente di dimensione uno o due, collegata ad un livello di ingresso. Il

22

Capitolo 3 Reti neurali artificiali collegamento di tipo feedforward ed, ogni neurone di ingresso collegato, tramite i vettori di pesi, a tutti i neuroni della mappa, chiamata livello di categorizzazione o di output. I neuroni del secondo strato sono connessi tra loro secondo uno schema di pesi chiamato "cappello

messicano". Tale modello fa s che se un neurone viene eccitato, allora lo saranno anche i neuroni vicini, mentre quelli lontani verranno inibiti come mostrato in figura 3.5. A tal punto possiamo affermare che larchitettura della SOM di tipo feedback, a causa delle connessioni laterali presenti nel livello di uscita.

Fig 3.5: Andamento dei pesi nella connessione a cappello messicano. Reti di questo tipo vengono solitamente utilizzate con paradigmi di apprendimento non supervisionati. Il processo di apprendimento molto semplice: si fornisce un ingresso alla rete, che trova il neurone dello strato di categorizzazione con la minima distanza euclidea dallinput, detto neurone vincitore o BMU, e ne modifica i pesi secondo una formula del tutto simile alla 3.1, che scritta alla t-esima iterazione sar:

w(t + 1) = w(t ) + (t ) [input (t ) w(t )]

(3.2)

dove input (t ) lingresso, w(t ) il vettore dei pesi associato al neurone ed (t ) la legge di apprendimento, cio una funzione matematica che regola lapprendimento in base al numero di iterazioni. Le reti di Kohonen prevedono anche una seconda legge che regola lapprendimento che,

23

Capitolo 3 Reti neurali artificiali solitamente, viene utilizzata quando si sceglie di non collegare lateralmente i nodi nello strato di output. Questa stabilisce il raggio dazione della prima legge, (t ) . Infatti uno schema usuale per le reti SOM quello di addestrare, secondo la formula 3.2, non solo la BMU ma anche i neuroni ad essa vicini. La distanza massima entro cui devono trovarsi i neuroni viene appunto stabilita dalla seconda legge detta raggio di apprendimento. In questo contesto, quando parliamo di distanza, intendiamo la distanza euclidea misurata tra i neuroni nel livello di categorizzazione. La durata del procedimento di apprendimento pu essere stabilita a priori o, pu essere fissato un criterio di arresto simile a quello utilizzato per laddestramento delle reti di percettroni.

Fig 3.6: Rete SOM (a) senza connessioni laterali (b) con connessioni laterali.

24

Capitolo 3 Reti neurali artificiali

3.4.3 GNG
Le GNG (Growing Neural Gas) sono reti neurali capaci di aumentare il numero di nodi dinamicamente. Ogni neurone caratterizzato da un vettore di pesi ed un valore che rappresenta lerrore locale. I bordi hanno unet, in modo tale che, durante lesecuzione, sia possibile eliminare i bordi pi vecchi per aggiornare la topologia della rete. Lalgoritmo di funzionamento cos strutturato: 1. la rete viene inizializzata con due neuroni; 2. vengono trovati i primi due neuroni vincitori rispetto lingresso considerato. Se i due neuroni non sono gi collegati si crea tale connessione e si imposta la sua et a zero; 3. viene calcolato lerrore locale del vincitore, come quadrato della distanza euclidea tra il nodo vincitore e lingresso; 4. i vettori del nodo vincitore e del suo vicino vengono aggiornati con una quantit proporzionale allerrore; 5. let di tutti i collegamenti che partono dal neurone vincitore viene incrementata; 6. i collegamenti troppo vecchi vengono eliminati, se dopo tale processo alcuni neuroni rimangono isolati vengono rimossi; 7. se il numero di input considerati multiplo intero di un certo valore

si aggiunge un nuovo nodo interponendolo tra il neurone con

errore locale pi grande ed il vicino con errore locale pi grande; 8. il vettore del nuovo nodo viene interpolato tra i valori dei due nodi precedentemente considerati; 9. si elimina il collegamento che lega il nodo con massimo errore ed il vicino considerato e si connettono tali nodi al nuovo neurone inserito;

25

Capitolo 3 Reti neurali artificiali 10. diminuiamo il valore dellerrore dei due nodi con errori massimi, e di tutti i nodi presenti nella rete. Inoltre calcoliamo lerrore del nuovo neurone inserito; 11. verifichiamo se il criterio di arresto soddisfatto. Solitamente viene richiesto un numero massimo di neuroni o che lerrore locale massimo sia sotto una certa soglia prefissata.

Fig 3.7: Evoluzione temporale di una rete GNG. In verde sono evidenziati i nodi aggiunti, in giallo i nodi vincitori.

3.4.4 ART
Le reti ART (Adaptive Resonance Theory) sono state sviluppate per permettere di regolare il livello di omogeneit dei cluster allinterno di un problema di classificazione. Tale problema di tipo non supervisionato, se non si conosce a priori il numero di cluster, per cui la rete viene utilizzata per lo pi con tale paradigma di apprendimento. In particolare, le reti ART, non distinguono la fase di addestramento da quella di utilizzo, cio, sono in grado di apprendere durante il normale impiego.

26

Capitolo 3 Reti neurali artificiali Questo modello di rete prevede due strati: uno detto strato di riconoscimento e laltro detto strato di comparazione. Questi sono collegati attraverso due serie di vettori di pesi, una con propagazione feedforward e laltra con propagazione feedback. Durante il processo di classificazione, lART capace di autoregolare il numero di cluster in base a diversi parametri precedentemente impostati. Il funzionamento schematizzabile in cinque diverse fasi: 1. inizializzazione dei pesi e disabilitazione dei neuroni dello strato di riconoscimento; 2. identificazione dellinput presentato attraverso la comunicazione dei risultati da parte del livello di riconoscimento a quello di comparazione e viceversa utilizzando le connessioni feedforward e feedback; 3. confronto dei risultati ottenuti dai diversi strati; 4. ricerca della somiglianza tra i cluster gi identificati e linput preso in considerazione, attraverso lutilizzo di un parametro-soglia , detto parametro di vigilanza, definito nella progettazione. La fase di ricerca pu invocare pi volte le fasi 2 e 3 finch non giunge ad una conclusione (generazione di un nuovo cluster o appartenenza ad uno gi esistente); 5. aggiornamento dei pesi, sia feedforward che feedback, del neurone vincitore con la possibilit di utilizzare le leggi di apprendimento analoghe a quelle delle reti SOM che estendono la conoscenza ai vicini del vincitore.

27