La Memoria Semanti

a
Tesina di approfondimento per il orso di Ciberneti a Generale II
Alessio Cimarelli
 Sommario

Si parla un po' della memoria in generale, fo alizzando l'attenzione su quella

a breve termine e soprattutto sulla parte semanti a di quella a lungo termine.
Si des rivono al uni dei modelli più importanti e di maggior su esso per la
simulazione della memoria semanti a.
Indi e

1 Introduzione 3
2 Memoria a breve termine 4
3 Memoria a lungo termine 6
3.1 Modello di Tulving . . . . . . . . . . . . . . . . . . . . . . . . 6
4 Memoria semanti a 8
4.1 Semanti a e on etti . . . . . . . . . . . . . . . . . . . . . . . 8
4.2 Reti semanti he . . . . . . . . . . . . . . . . . . . . . . . . . . 11
4.2.1 Modelli a rete gerar hi a . . . . . . . . . . . . . . . . . 12
4.2.2 Modello di Collins-Loftus . . . . . . . . . . . . . . . . . 13
4.2.3 Semanti features- omparison model . . . . . . . . . . 13
4.2.4 Modelli asso iativi . . . . . . . . . . . . . . . . . . . . 14
4.2.5 Modelli statisti i . . . . . . . . . . . . . . . . . . . . . 15
4.3 Appli azioni e uriosità . . . . . . . . . . . . . . . . . . . . . . 17
A Spreading a tivation 18
B Priming 19
C Apprendimento Hebbiano 20

2
Capitolo 1
Introduzione

Ben hé la memoria sia una funzione onnipresente in ogni forma di attività

ognitiva, solitamente se ne fornis e una lassi azione in base ad al uni
parametri notevoli.

• Durata: a breve o lungo termine, sensoria

• Funzione: i oni a, e oi a, gra a, episodi a, semanti a, pro edurale

• Modalità: visiva, uditiva, motoria, verbale

• Stadi logi i: odi a, ssazione, re upero

In psi ologia ognitiva si tende a pensare alla memoria ome ostituita

da nodi (i on etti) e da onnessioni tra di essi (asso iazioni tra on etti), in
un modello di asso iazione verti ale in ui la onnessione tra on etti porta
alla formazione di un on etto di più alto livello.
Stori amente nella se onda metà del se olo s orso si sono progressivamen-
te abbandonate le prime teorie a pro esso unitario della memoria, a favore
di modelli multipro esso e multimodali he ammettono un'integrazione tra
pro essi diversi inter onnessi.

3
Capitolo 2
Memoria a breve termine

Il primo di questi è dovuto ad Atkinson e Shirin nel 1971, se ondo i

quali l'informazione sensoriale è dapprima onservata nella memoria a breve
termine (di pi ola apa ità ed estremamente fragile e volatile) e solo su es-
sivamente passa, almeno in parte, a quella a lungo termine, il ui grado di s-
sazione dipende fortemente e linearmente dalla reiterazione dell'informazione
stessa.
Punti deboli (non supportati da esperimenti su essivi):
• memoria a breve termine unitaria, indipendente dal tipo di informazio-
ne immagazzinata;
• me anismo di mantenimento della memoria a lungo termine indipen-
dente dalla tipologia del dato, estremamente eterogeneo;
• sopravvalutazione del ruolo della reiterazione per il ri ordo;

• onnessione seriale a senso uni o tra memoria a breve e a lungo termine.

Il modello di Baddeley e Hit h del 1974, approfondito da Baddeley nel

1986 e integrato dalle ri er he di Norman e Shalli e del 1986, supera questi
limiti interpretando la memoria a breve termine ome memoria di lavoro,
in ui al mantenimento temporaneo dell'informazione si aggiunge una sua
manipolazione di una erta omplessità.
Questo sistema si può s hematizzare nel seguente modo.
• Sistema di elaborazione entrale, dipendente dalla tipologia dell'infor-
mazione, on il ruolo di integrare informazioni dierenti o su essive
(simile ai sistemi attenzionali); oinvolge una erta attività de isionale
basata su priorità.

4
• Cir uito arti olatorio per la memorizzazione in forma verbale ( i lo
fonologi o).

 Magazzino fonologi o per il mantenimento dell'informazione lin-

guisti a (molto volatile).
 Pro esso di ontrollo basato sul linguaggio interno (mantiene la
tra ia mnesti a dei dati del magazzino fonologi o mediante ri-
passo subvo ale).

• Ta uino visuo-spaziale per le informazioni spaziali e visive (funziona-

mento simile al sistema pre edente).

5
Capitolo 3
Memoria a lungo termine

Presenta una struttura piuttosto arti olata:

• Di hiarativa o proposizionale (espli ita)
 Semanti a (Tulving 1972)
∗ Modelli a rete: gerar hi a (Collins e Quillian 1969) o a diu-
sione (Collins e Loftus 1975)
∗ Modelli a s hemi (Bartlett 1932), frames (Minsky 1975), s ript
(S hank e Abelson 1977) (Cornoldi 1986)
 Episodi a
∗ Autobiogra a
• Impli ita
 Immaginativa
 Pro edurale

3.1 Modello di Tulving

Il modello di maggior su esso per la s hematizzazione della memoria a lungo

termine è dovuto al lavoro di Endel Tulving, in ui si introdu ono tre sot-
tosistemi parzialmente dipendenti della memoria, he agis ono insieme per
formare le apa ità ognitive generali.
• Memoria episodi a: prevalentemente auto os iente, riguarda la ge-
stione degli eventi temporalmente deniti nel tempo soggettivo, riferiti
al Sé, e per questo deriva dall'esperienza diretta e ri hiede uno stato o-
s iente nella fase di ri hiamo. Risulta molto essibile, ma relativamente
lenta.

6
• Memoria semanti a: os iente, riguarda l'organizzazione e gestione
(immagazzinamento e re upero) delle informazioni generali sul mon-
do ( on etti) ra olte mediante l'esperienza ed è per questo alla ba-
se della omprensione. Nel re upero permette di esprimere onos en-
ze a pres indere dai parti olari del loro apprendimento, è essibile e
relativamente rapida.
• Memoria pro edurale: sub os iente, ontrolla le risposte omporta-
mentali a stimoli parti olari e pre isi e i omportamenti automati i. È
però ad un livello più avanzato del puro istinto, per hé i omportamenti
possono essere appresi e dimenti ati. È di tipo pres rittivo, piuttosto
rigida e rapida.

Ognuno di essi ha tre modalità di azione:

• A quisizione

• Rappresentazione

• Espressione della onos enza

7
Capitolo 4
Memoria semanti a

4.1 Semanti a e on etti

La dis iplina he studia i on etti e le loro relazioni re ipro he prende il nome

di semanti a e se ne possono individuare tre tipi:
• s. lessi ale: aratteristi he del signi ato di tratti, morfemi, parole;

• s. frasale: signi ato di proposizioni, struttura predi ativa, ruoli tema-

ti i, inferenze, atti linguisti i;
• s. dis orsiva: signi ato della grammati a delle storie, s ript, frame,
s hemi.
Nei pro essi semanti i svolge un ruolo fondamentale il prin ipio di om-
posizionalità (Frege 1892), he distingue in un'espressione linguisti a tra il
signi ato ( he indi a il modo in ui l'espressione denota iò a ui si riferis e)
e il suo riferimento ( he indi a iò he l'espressione denota del mondo).
Dal punto di vista ognitivo, apire una frase equivale a ombinare i si-
gni ati delle parole se ondo le relazioni grammati ali he inter orrono tra
le parole he la ompongono. Questo permette di produrre un numero pra-
ti amente innito di espressioni da un numero limitato di parole e regole
lessi ali.
Il prin ipio di omposizionalità ha però diversi limiti, tra ui la ompren-
sione delle espressioni idiomati he, in ui il siigni ato non è funzioe diretta
del signi ato delle loro parti, e di quelle metafori he, in ui il signi ato
è derivato omposizionalmente, ma la orretta omprensione ri hiede una
orretta interpretazione.
Superare il prin ipio di omposizionalità ri hiede la presenza di me ani-
smi di inferenza basati sulle onos enze del mondo, oltre he sulle informazio-

8
ni linguisti he espli ite. Indizi su questi me anismi vengono prin ipalmente
da tre fenomeni linguisti i:
• ambiguità lessi ale;

• essibiltà semanti a;

• instanziazione di termini generali.

Nel primo aso una stessa forma fonologi a (omofonia) o ortogra a (omo-
graa) viene impiegata in una lingua per denotare entità distinte. L'ambi-
guità non è però ristretta al solo lessi o, ma si in ontra a tutti i livelli nei
quali si può analizzare una lingua:
• l. per ettivo (il frammento di parlato /visitedi/);

• l. morfologi o (la forma verbale hiusi );

• mes olamento di livelli (il termine porto oppure la frase la ve hia porta
la sbarra ).
Solitamente è il ontesto he permette la disambiguazione, ma non 'e
hiaro quando e ome l'informazione di ontesto viene usata. Solitamente si
fa riferimento a tre ipotesi:
• modello esaustivo: in una prima fase (a esso) vengono attivati tutti
i signi ati della parola, su essivamente (interpretazione) viene sele-
zionato il signi ato ontestualmente pertinente da un onfronto on i
signi ati di tutte le altre parole nella frase;
• modello a ri er a ordinata: tutti i signi ati della parola vengono presi
in onsiderazione sequenzialmente in ordine de res ente di frequenza,
no a he non ne viene selezionato uno pertinente;
• modello ad a esso selettivo: la presenza di hiare informazioni onte-
stuali permette un a esso diretto e selettivo al signi ato della parola
più pertinente, an he se non è quello dominante.

Il se ondo aso indi a he a volte, nella omprensione del signi ato di

una frase è ne essario re uperare l'uso selettivo di un singolo aspetto del
signi ato di una parola e non tutti. In altri termini, solo al uni tratti del
signi ato di una parola ontribuis ono al signi ato di una frase.
Nel terzo aso, il trasferimento di una proprietà da un on etto ad un
altro ha luogo non per sempli e opiatura, ma attraverso un me anismo di

9
instanziazione he permette di adattare la proprietà lle aratteristi he del
nuovo on etto. Le interpretazioni di termini ome alto, grande, e . variano
a se onda dei ontesti.
Tutto iò porta alla on lusione he la rappresentazione mentale, punto
d'arrivo del pro esso di omprensione, è ostruita prevalentemente sulla base
di informazioni linguisti he ontenute nella frase, ma in lude an he infor-
maziooni inferite, non presenti espli itamente nella struttura letterale della
frase.

Una volta ostruiti, i on etti sono le unità di base della memoria seman-
ti a e ostituis ono la nostra onos enza di base.
Se ne rilevano tre aspetti fondamentali:
• sono gli strumenti ognitivi he rendono possibile l'ese uzione di ope-
razioni mentali;
• hanno un ruolo entrale nei pro essi di lassi azione e ategorizzazio-
ne;
• si relazionano on gli altri on etti.

Il pro esso di ategorizzazione ( ioè la ostruzione di on etti) è impor-

tante per hé permette di sempli are drasti amente l'analisi degli input am-
bientali, prati amente inniti. Grazie a questa apa it 'a, si è in grado di
utilizzare le stesse risposte omportamentali a tutti gli elementi di una stessa
lasse, evitando di sviluppare e memorizzarne una per ogni oggetto.
Se ondo la teoria lassi a, un on etto è denito da un insieme nito
di aratteristi he ne essarie e su ienti, possedute da tutti gli esemplari
appartenenti al on etto (o lasse) in questione. Il ontenuto del on etto
è l'insieme di queste aratteristi he. In realtà molto spesso non è hiaro
quali siano queste aratteristi he e tanto meno quale sia l'insieme minimo
he denis e un qualsiasi on etto.
A questo proposito sono state quindi proposte diverse teorie:
• ipotesi della somiglianza di famiglia (Wittgenstein)

• teoria del prototipo (Ros h)

• teoria del template mat hing

Deniti i on etti, la memoria semanti a può gestirli e immagazzinarli in

vari modi:

10
 • modelli della rappresentazione astratta: le informazioni sono mante-
nute in memoria in un formato amodale, slegato dai parti olari senso-
motori delle entit rappresentate;

• modelli per esemplari: il sistema on ettuale è ostituito dalle tra e

mnesti he di tutti gli esemplari diversi he sono stati odi ati nel
tempo;

• appro io onnessionista: il sistema on ettuale ha un'ar hitettura di-

stribuita, in ui la rappresentazione di un on etto è disseminata in
diversi sottosistemi, in ui non esistono nodi on ettuali per on etti
parti olari, ma insiemi distribuiti di attributi di base, ondivisi da vari
on etti, he si attivano in ongurazioni appropriate in riferimmento
al on etto rilevante.

Il vantaggio dell'appro io onnessionista sta nel fatto he la strutturazio-

ne in ategorie non sarebbe un prin ipio organizzativo della rappresentazione,
ma una proprietà emergente.

4.2 Reti semanti he

La natura ategorizzante della memoria semanti a suggeris e una sua strut-

tura a rete (modello di rete semanti a), la ui topologia può essere inferita
dai tempi di risposta e ri onos imento.
Rappresentando i on etti e le ategorie sotto forma di nodi e le asso-
iazioni sintatti he di ollegamenti diretti, durante il pro esso di re upero
dell'informazione as oltare un on etto si tradu e in un'attivazione del nodo
orrispondente, he si trasmette ad altri nodi ad esso onnessi (spreading a -
tivation, fr. appendi e A), lungo un per orso all'interno della rete he può
essere più o meno lungo (topologi amente e, quindi, temporalmente) a se on-
da della distanza semanti a tra i on etti oinvolti (problema del priming,
fr. appendi e B).
Nelle onnessioni tra nodi può inoltre essere presente un erto grado di
ridondanza e una oppia di on etti è quindi generalmente legata da diversi
ammini possibili.
Un esempio è un database lessi ale di una lingua, in ui le parole sono rag-
gruppate in sottoinsiemi di sinonimi, legati tra loro da relazioni semanti he
(meronimia, olonimia, iponimia, ipernimia, sinonimia, antonimia).
Attraverso una rete semanti a si può an he denire il signi ato stesso di
un on etto mediante la sua ategoria di appartenenza e l'insieme delle sue

11
proprietà (ovvero mediante la sua posizione all'interno della rete). L'a u-
mulo di esperienze riguardo un on etto, quindi, si tradu e in un aumento
della sua onnettività all'interno della rete e le sue onnessioni denis ono il
suo signi ato.

4.2.1 Modelli a rete gerar hi a:

TLC e modello di Collins-Quillian
Il Tea hable Language Comprehender (TLC) è il primo modello a rete della
memoria semanti a: ogni on etto rappresenta un nodo, osì ome le pro-
prietà, ed ogni nodo è direttamente onnesso mediante un puntatore solo ai
on etti he ontiene e in ui è ontenuto, oltre naturalmente alle proprietà
he gli appartengono. In questo aso lo spreading a tivation segue un am-
mino verti ale attraverso la gerar hia e la distanza tra due nodi oin ide on
quella tra i livelli gerar hi i orrispondenti.
Una risposta orretta ad un quesito (tipi amente nella forma X è un Y?)
ri hiede he l'overlap tra gli spreading a tivations asso iati ai due on etti
abbiano un overlap oltre una erta soglia minima.
Questo tipo di rete ontiene quindi tre tipi di oggetti:
• unità, on etti, nodi della rete

• proprietà, aratteristi he funzionali delle unità (o an he negazioni di

esse)
• links, relazioni tra unità (relazioni di appartenenza) e tra queste e le
proprietà
I on etti sono osì organizzati gerar hi amente (quelli più astratti e ge-
nerali in ima e quelli più on reti e spe i i alla base) e ubbidis ono ad un
prin ipio di e onomia ognitiva: le loro proprietà sono odi ate al livello
più alto possibile (minimizzazione della ridondanza dell'informazione).
Più esattamente la velo ità nel risolvere un problema dipende sia dalla
struttura delle onnessioni tra i nodi oinvolti sia dal me anismo di re upero
dell'informazione: asso iare direttamente una proprietà ad un nodo di basso
livello aumenta l'e ienza di re upero, ma non è e onomi o da un punto
di vista della quantità di memoria utilizzata. Risulta più e iente ri avare
una proprietà di un nodo di basso livello risalendo la gerar hia piuttosto he
memorizzarla sempli emente. Se poi ad ogni onnessione asso iamo un peso
(modello di Collins-Quillian), le relazioni maggiormente utilizzate saranno
an he quelle più velo i.

12
 I limiti delle reti gerar hi he sono nella loro in apa ità di prevedere errori
di asso iazione o di valutare più rapidamente una asso iazione falsa. In più
non tutte le ategorie possono essere rappresentate in una forma gerar hi a,
adatta per on etti di tipo tassonomi o ome animale, ma non per on etti
più astratti.

4.2.2 Modello di Collins-Loftus

Si abbandona il prin ipio di e onomia ognitiva e osì i ollegamenti tra no-
di hanno una struttura gerar hi a molto debole. Durante il re upero sono
attivati man mano tutti i nodi ollegati al primo, on un'attivazione he de-
res e on la distanza e ol tempo (spreading a tivation ). Ora la distanza tra
on etti non è data dalla dierenza dei livelli gerar hi i, ma dalla lunghezza
delle onnessioni pesate he li legano.
An he questo modello è in grado di prevedere eetti di tipi ità e spiegare
il priming semanti o.

4.2.3 Semanti features- omparison model

(Smith-Shoben-Rips)
Ora le ategorie semanti he sono rappresentate da insiemi non strutturati
di proprietà, he denis ono quindi ogni on etto. In questo aso, quindi,
le relazioni tra on etti e la loro appartenenza o meno a ategorie non sono
espli ite, ma devono essere ri avate indirettamente onfrontando le proprietà
degli insiemi oinvolti.
In parti olare esistono due tipi di proprietà:
• p. ne essarie he denis ono il on etto (dening features, diminuis ono
in numero risalendo la gerar hia à la Collins e Quillian)
• p. a essorie ( hara teristi features )

Il pro esso di risposta si arti ola in due fasi.

1. Dato l'insieme di proprietà, si individua il on etto orrispondente se
le possiede tutte e solo quelle. In realtà si fa riferimento ad un grado
di appartenenza, analogo a quanto avviene in logi a fuzzy, insieme ad
una oppia di soglie, inferiore e superiore, he entrano ome parametri
del modello.
2. Il legame tra due on etti è ostituito dal grado di sovrapposizione degli
insiemi delle proprietà di denizione he li aratterizzano.

13
 Questo modello, oltre a spiegare il priming, ammette risposte errate nel
aso in ui venga bypassata la fase 2. Inoltre se in quest'ultima sono presi in
onsiderazione on etti generali (parte alta della gerar hia), il onfronto tra
le loro proprietà è molto più velo e. Così ome avviene per la valutazione di
asso iazioni false.

4.2.4 Modelli asso iativi

Il paradigma di base è quello delle reti neurali, in ui ssata la topolo-
gia della rete le sua apa ità sono odi ate dai pesi delle onnessioni ( he
rappresentano nelle reti semanti he le asso iazioni tra on etti).
Matemati amente risulta utile rappresentare queste onnessioni mediante
una matri e N xN he ontiene tutti i pesi tra i nodi, al olabili mediante
un algoritmo di apprendimento Hebbiano (si aumenta l'asso iazione tra due
on etti se sono attivati insieme da uno stimolo, fr. appendi e C).

SAM
Nel modello SAM (Sear h of Asso iative Memory), quando due on etti o -
upano nello stesso momento il buer della memoria di lavoro (i loro nodi
orrispondenti sono e itati), la loro asso iazione viene rinforzata. Stessa o-
sa avviene per le asso iazioni tra i on etti e il ontesto (variamente denito)
in ui si presentano.
In questo modo, al termine del pro esso di apprendimento, la forza delle
onnessioni indi a le relazioni semanti he tra on etti e tra essi e il ontesto.

ACT e ACT-R
I modelli ACT (Adaptive Control of Thought) o i su essivi ACT-R (Adapti-
ve Control of Thought-Rational) possono essere visti e deniti ome un modo
di spe i are ome il ervello stesso è organizzato, in grado da attivare i pro-
essi individuali per la produzione del pensiero. L'assunto più importante
su ui si basano è he la onos enza umana si possa dividere in due tipi di
rappresentazione irridu ibili: quella di hiarativa e quella pro edurale.
La prima è rappresentata mediante hunks, ollegamenti tra hunks e loro
proprietà, he insieme ostituis ono una rete semanti a dinami a. Infatti
l'attivazione di un nodo de res e on il tempo dal momento del suo primo
ri hiamo e aumenta inve e on il numero di ri hiami su essivi. Risente an he
di un eventuale rumore gaussiano di fondo e delle e o di attivazione dei nodi
(semanti amente) vi ini.

14
 I hunks sono gestiti da buers he fungono da front-end di due tipi di
moduli:
• per ettivi-motori, ostituis ono le interfa e on il mondo reale (soprat-
tutto visive e manuali);
• memorie, a loro volta di due tipi:

 memorie di hiarative, he immagazzinano fatti, eventi e dati,

 memorie pro edurali, he gestis ono le istruzioni per svolgere un
ompito.
Ad ogni istante il ontenuto dei buers rappresenta lo stato del sistema
e la onos enza pro edurale produ e un usso di informazione a partire da
esso. Un pro esso interno ri er a un dato pattern di risposta he orrisponda
allo stato attuale del sistema e se lo trova lo mette in atto, modi ando il
ontenuto dei buers per l'istante su essivo.
Ben hé l'ACT sia in realtà un modello più generale della ognizione, appli-
ato ai pro essi di memoria ries e a riprodurne al une aratteristi he di base.
Tra le altre appli azioni si ri ordano i pro essi di apprendimento, problem
solving e de ision making, il linguaggio naturale e la per ezione.

4.2.5 Modelli statisti i

In questi modelli l'a quisizione di informazioni semanti he si basa su una
qual he inferenza statisti a da un insieme dis reto e limitato di esperienze,
riferenti ad un erto numero di ontesti.
L'ingrediente fondamentale dei modelli statisti i è una matri e rettan-
golare he lega gli elementi ai ontesti (variamente deniti a se onda del
modello). L'analisi statisti a vera e propria si appli a su questa matri e.

LSA
Il modello più popolare va sotto il nome di Latent Semanti Analysis (LSA,
te ni a molto usata nella produzione del linguaggio naturale), in ui la ma-
tri e è omposta da un vo abolario di parole (elementi) legate ai do umenti
( ontesti) in ui ompaiono. Ogni elemento della matri e indi a l'o or-
renza di ogni termine in ogni do umento. Dopo aver P
al olato la matri-
e, vi si appli a laP funzione M = ln(1 + M )/ − [P (i|t) ln P (i|t)], on
′

P (i|t) = M (i, t)/ i [M (i, t)] probabilità he si abbia un do umento data

l'o orrenza di una parola.

15
 Su essivamente si appli a una De onvoluzione a Singolo Valore (SVD)
alla matri e trasformata per ridurne le dimensioni e osì individuare gruppi di
rappresentazioni semanti he e asso iazioni indirette tra gli elementi. Queste
trasformazioni legano la matri e di o orrenza dei termini ad un erto numero
di on etti ( lustering e lassi ation ) e questi ai do umenti, pesando ogni
termine on la propria abilità di predire un ontesto. A questo punto ogni
elemento è rappresentato in memoria da un vettore ontestuale e il grado
di similitudine semanti a tra due termini è dato sempli emente dal oseno
dell'angolo tra i due vettori ( i si basa sul fatto he termini simili ompaiano
sempre in ontesti simili).
Mediante LSA possono essere arontati diversi ompiti di grande interes-
se:
• omparazione di do umenti in uno spazio ontestuale;

• individuazione di do umenti simili an he se s ritti in lingue diverse,

sulla base di un pi olo insieme di do umenti tradotti;
• individuazione di relazioni tra termini (sinonimia e polisemia);

• ri er a di do umenti a partire da parole hiave, passando però in uno

spazio ontestuale in ui si onsiderano le anità semanti he tra i
termini.
Questi modelli presentano diverse limitazioni:
• le dimensioni rimanenti dopo l'appli azione della SVD possono esse-
re di ili da interpretare in un linguaggio naturale (mentre sono ben
denite matemati amente);
• il modello LSA qui des ritto si basa su una ipotesi ergodi a se ondo
la quale parole e do umenti formano un modello Gaussiano ongiunto,
mentre nei testi reali è stata osservata una distribuzione Poissoniana.

HAL
Nei modelli he vanno sotto il nome di Hyperspa e Analogue to Language
(HAL) gli elementi sono parole e i ontesti sono l'insieme delle parole he
sono loro adia enti in un testo. La matri e di o orrenza in questo aso è
quadrata (N xN on N numero di parole nel vo abolario) e il ontesto è dato
da un parametro esterno (normalmente le die i parole attorno a quella data).
Gli elementi della matri e sono una funzione del numero di volte in ui
due parole appaiono ontemporaneamente nello stesso ontesto e della loro

16
distanza re ipro a (tipi amente ogni in remento è dato da D = 11 − d on d
distanza tra le parole).
Dopo aver eventualmente appli ato la SVD alla matri e, la distanza se-
manti a tra due termini è data dal oseno tra i vettori ontestuali he li
rappresentano (questa volta si suppone he termini simili appaiano insieme
alle stesse parole).

4.3 Appli azioni e uriosità

...

17
Appendi e A
Spreading a tivation

È un metodo di ri er a all'interno di una rete asso iativa, onsistente nell'ini-

zializzare un gruppo di nodi settando un valore dell'attivazione e propagando
iterativamente quest'ultima all'intera rete, attraverso i nodi onnessi ai pri-
mi. Normalmente l'attivazione de res e man mano he i si allontana dai
nodi di origine.
Un sempli e algoritmo di questo tipo può essere s hematizzato ome
segue.
1. Topologia della rete: N nodi, ognuno asso iato ad un valore reale A ∈
[0, 1], ollegati da M links, ognuno on un peso W ∈ [0, 1].

2. Settaggio dei parametri: una soglia di attivazione F ∈ [0, 1] e una di

de adimento D ∈ [0, 1].
3. Inizializzazione: tutti i nodi on A = 0, tranne un pi olo gruppo
(solitamente un solo nodo) on A > F .
4. Per ogni nodo on A > F , al olo la nuova attivazione dei nodi ad esso
ollegati mediante la formula A[j] = A[j] + A[i] · W [i, j] · D, onside-
rando un normalizzazione per valori negativi e valori maggiori di 1.0
(normalmente in un i lo un nodo s ari a una volta sola, an he se è
possibile modi are l'algoritmo ammettendo s ari he ripetute o i li di
s ari a).
5. Si ripete il punto 4 no a he non i sono più nodi attivati, oppure no
al raggiungimento di uno stato dinami o stabile della rete.

18
Appendi e B
Priming

In psi ologia on priming si denis e quel fenomeno per il quale l'esposizione

ad uno stimolo ad un erto tempo inuenza la risposta ad uno stimolo orre-
lato ad un tempo su essivo. Normalmente questo fenomeno è onsiderato la
prova dell'azione della memoria impli ita. Qualitativamente si immagina he
alla presentazione del primo stimolo si attivi un ir uito neurale he su es-
sivamente sarà più pronto a rispondere al se ondo stimolo, se questo risulta
orrelato al primo.
Per esempio si ris ontra he è più fa ile ri ordare qual osa nella forma in
ui si è imparato (uditiva, visiva o altro).
Se ne individuano due tipi:
• on ettuale (riguarda il signi ato dello stimolo ed è legato all'aspetto
semanti o del ompito da svolgere)
• per ettivo (si basa sulla ed è sensibile alla forma e alla modalità dello
stimolo)

19
Appendi e C
Apprendimento Hebbiano

La teoria Hebbiana des rive un me anismo basilare della plasti ità sinapti a
per ui un aumento dell'e a ia sinapti a deriva da una ripetuta e persistente
stimolazione della ellula postsinapti a da parte di quella presinapti a.
Dal punto di vista delle reti neurali arti iali, il prin ipio di Hebb des rive
un metodo per determinare ome alterare i pesi tra i neuroni durante la fase
di apprendimento. Il peso della sinapsi viene aumentato se i due neuroni ai
suoi estremi si attivano simultaneamente, ed è ridotto altrimenti. Nodi he
tendono ad essere entrambi positivi o negativi nello stesso momento avranno
forti pesi sinapti i dello stesso segno.
Questo prin ipio generale fornis e il metodo più sempli e per la modi a
dei pesi di una rete e per questo è relativamente fa ile da implementare
in una simulazione, ma ne limita le appli azioni. Oggi si usa il termine
apprendimeno hebbiano per un qualsiasi metodo matemati o di modi a dei
pesi delle sinapsi, an he diverso da quello di base appena des ritto.
E o al uni esempi di possibili traduzioni matemati he del prin ipio:
• wij = xi xj
1 Pp
• wij = n k=1 xki xkj
P
• ∆wi = ηxi · j wj x j

20