1

UNINTRODUZIONE ALLA PSICOLOGIA MULTISENSORIALE

Introduzione
Noi tutti siamo nati con una variet di sensi che ci permettono di vedere, toccare,
udire, gustare, e odorare il mondo che ci circonda. Ma vi siete mai chiesti, come
riusciamo quotidianamente a integrare questa ricchezza di informazioni sensoriali, che
bombarda costantemente i nostri sensi? Durante lultimo decennio numerosi
neuroscienziati cognitivi hanno cercato di rispondere a questa domanda, utilizzando
unenorme variet di tecniche sperimentali. Questa dispensa sintetizza alcune delle
fondamentali ricerche e scoperte in questa area, e cerca di fornire delle risposte alle
seguenti domande: Che regole usiamo per integrare la moltitudine dei segnali sensoriali
che abbiamo a disposizione? Dove avviene nel nostro cervello questa integrazione
multisensoriale? Cosa accade quando i normali processi di integrazione multisensoriale
non funzionano in maniera appropriata? possibile confondere le varie informazioni
sensoriali? Inoltre, verranno sottolineate anche alcune delle importanti applicazioni di
questa area di ricerca.
Introduzione ai sensi
Noi nasciamo con differenti modalit sensoriali, che ci permettono di percepire il
mondo che ci circonda. La vista, ludito, e lolfatto ci informano su eventi che accadono
vicino o lontano da noi, mentre il tatto ed il gusto riguardano ci che accade sulla nostra
superficie corporea. Oltre ai classici 5 sensi, ne abbiamo degli altri, come per esempio,
il senso gravitazionale (detto senso vestibolare; cio quello che controlla lequilibrio,
lorientamento e la postura). Alcuni ricercatori sostengono che noi abbiamo anche un
senso feromonale, situato nellorgano di Jacobson, una coppia di piccole ghiandole che si
trovano nel setto nasale (Watson, 1999).
La gran parte dei manuali che si occupano di percezione, considerano ciascuna
modalit sensoriale (per es., la vista, ludito, il tatto) separatamente. Questo approccio
modalit-indipendente compatibile con il fatto che, nelle prime fasi dellelaborazione
delle informazioni, gli stimoli di ciascun sistema sensoriale sono transdotti (con questo
termine si intende il processo con il quale lenergia fisica, come le onde sonore o la luce,

Prof. M Zampini

2
viene trasformata in impulsi neurali) da epiteli sensoriali spazialmente distinti (per es., la
retina per la vista, la coclea per ludito, e la pelle per il tatto). Le informazioni sensoriale
transdotte dai differenti recettori sensoriali (cio gli occhi, le orecchie, e la pelle)
vengono poi proiettate alle strutture cerebrali, specifiche per ciascuna modalit
sensoriale, come per esempio le aree sensoriali primarie: visiva, acustica,
somotosensoriale (tattile), olfattiva e gustativa. Un altro aspetto che contraddistingue le
differenti modalit il modo di codificare le informazioni. Per esempio, gli stimoli visivi
sono codificati dagli occhi secondo coordinate retinotipiche (cio a seconda di come
appaiono sulla retina); gli stimoli uditivi sono codificati dalle orecchie secondo
coordinate tonotopiche (cio secondo la loro frequenza); gli stimoli tattili sono codificati
secondo coordinate somatotopiche (cio secondo la loro posizione sulla superficie
corporea).
interessante notare che, quello che comunemente definito il senso del tatto, in
realt, formato da differenti sistemi sensoriali: tatto (relativo alla percezione della
pressione, temperatura, vibrazione, e dolore), propriocezione (relativa alle informazioni
sulla posizione delle parti del nostro corpo), e cinestesia (riguardante il movimento del
corpo nello spazio).
Per finire interessante notare che nel mondo animale esistono anche altre
modalit sensoriali. Nel suo affascinante libro Sensory Exotica, Howard Hughes (1999)
sottolinea i differenti modi nei quali gli animali si sono evoluti per percepire il loro
ambiente. Per esempio, i pipistrelli e i delfini usano sonar per orientarsi, mentre gli
uccelli usano segnali biomagnetici per controllare il loro comportamento migratorio. Gli
squali hanno un senso elettrico, mentre i serpenti hanno un senso ad infrarossi, ideale per
la caccia notturna.
Percezione multisensoriale
La maggior parte degli oggetti e degli eventi del nostro ambiente sono
multisensoriali, e forniscono informazioni ai nostri sensi simultaneamente. Per esempio,
la nostra percezione del cibo che mangiamo deriva non solo da come esso appare, odora,
o dal suo gusto, ma anche da come lo sentiamo tattilmente ed acusticamente (es. rumori
che si fanno masticando). Come sottolineato da Ulric Neisser pi di 25 anni fa, nel suo

Prof. M Zampini

3
libro Cognition and reality, noi uniamo, o integriamo, continuamente, tutte queste varie
informazioni sensoriali per formare una rappresentazione multisensoriali della nostra vita
quotidiana: Fare attenzione ad un evento significa cercare ogni sorta di informazione su
di esso, indipendentemente dalla modalit sensoriale stimolata, ed integrare tutte le
informazioni disponibili.
sorprendente notare come la maggior parte delle ricerche sulla percezione
umana sia focalizzata sulla comprensione di come ciascun senso operi isolatamente,
specialmente perch stato dimostrato come tutte le creature, che posseggono pi di un
senso, integrino informazioni sensoriali differenti per controllare il loro comportamento.
La gerarchia dei sensi
Nella maggior parte delle situazioni quotidiane, le informazioni multisensoriali
che riceviamo ci forniscono informazioni convergenti, e parzialmente ridondanti,
riguardanti oggetti o eventi del mondo che ci circonda (cio linformazione rilevante
frequentemente disponibile in pi di una modalit sensoriale). Per esempio, se
immaginiamo un rumoroso cocktail party, la nostra comprensione di quello che una
persona sta dicendo deriva non solo da quello che noi sentiamo (cio udiamo), ma anche
da quello che noi vediamo (cio movimenti delle labbra, espressioni facciali, e gesti), per
questo, ad esempio, indossare gli occhiali, per chi ha una vista non perfetta, pu aiutare
anche a sentire (cio udire) meglio.
Questa ridondanza rende difficile il compito dello studioso che si occupa di
stabilire quale sia il contributo di ciascuno dei sensi ai fini della percezione. Per questo,
gli psicologi cognitivi, che sono interessati a scoprire come le persone integrano le
informazioni provenienti dai differenti sensi, spesso presentano informazioni conflittuali
ai differenti sensi (cio tentano di imbrogliare o confondere i sensi). Lo studio di
come vengono risolte queste situazioni conflittuali (cio come vengono valutate le
differenti informazioni sensoriali quando esse non concordano) aiuta gli scienziati a
capire le regole, che normalmente governano lintegrazione sensoriale. Cosa accade
quando quello che sentiamo in conflitto con quello che vediamo? Sorprendentemente,
la risposta sembra essere che quello che vediamo contribuisce a modificare quello che

Prof. M Zampini

4
sentiamo. Due degli esempi migliori, di questa dominio della vista sulludito sono:
lillusione McGurk e lillusione del ventriloquo (o effetto ventriloquismo).
Lillusione McGurk
Quando viene presentato il suono della voce di una persona, che ripetutamente
pronuncia una particolare sillaba (per es., ba), mentre simultaneamente si vede la stessa
persona che muovendo le labbra pronuncia unaltra sillaba (per es., ga), la maggior
parte delle persone riferisce di sentire una sillaba differente (per es., da). Questo effetto
conosciuto come illusione McGurk (McGurk & MacDonald, 1976), e dimostra che il
suono del parlato (stimolo uditivo) pu essere modulato dai movimenti labiali (stimolo
visivo) quando questi non concordano. Mentre si guarda un video dellillusione McGurk,
si pu notare che quello che si sente varia, a seconda che si tengano gli occhi aperti o
chiusi. Questa una chiara dimostrazione del fatto che quello che si vede a modificare
quello che si sente.
Lillusione del ventriloquo
Pensi che ti accorgeresti se il suono di qualcuno che sta parlando non provenisse
dalle sue labbra? Ogni volta che andiamo al cinema, il parlato del film percepito come
proveniente dalle labbra degli attori visti sullo schermo, nonostante il fatto che il suono
sia effettivamente diffuso attraverso altoparlanti posizionati da altre parti. Similmente, nel
caso di un ventriloquo, noi percepiamo la voce del ventriloquo come proveniente dalle
labbra del pupazzo, che il ventriloquo fa muovere. Questo effetto conosciuto come
lillusione del ventriloquo (ventriloquism illusion), e mostra come le persone possano
localizzare erroneamente il suono verso la sua fonte visiva apparente, in situazioni in cui
ci sia un conflitto spaziale tra stimoli visivi ed uditivi.
La dominanza visiva non limitata alla percezione del parlato
Leffetto McGurk e lillusioni del ventriloquo dimostrano come la vista tenda a
dominare sulludito in situazioni di conflitto riguardo allidentit o alla localizzazione
degli stimoli verbali. Sebbene questa tendenza intersensoriale, sia particolarmente forte
per la percezione del parlato audiovisivo, effetti simili di dominanza si possono notare

Prof. M Zampini

5
anche per altri tipi di stimoli audiovisivi. Per esempio, quando noi vediamo qualcuno
suonare uno strumento musicale durante un concerto, abbiamo la chiara sensazione che la
musica provenga dallo strumento stesso e non dagli altoparlanti posti a lato del palco.
Uno degli aspetti pi importanti delle illusione del ventriloquo e delleffetto McGurk
che si manifestano anche quando le persone sanno perfettamente che ci sono delle
incongruenze tra quello che vedono e quello che sentono (cio noi sappiamo benissimo
che la voce proviene dal ventriloquo e non dal pupazzo). Questo suggerisce che
lintegrazione che porta alla percezione del parlato avvenga automaticamente (cio senza
bisogno di concentrazione o attenzione).
Sentire (tattilmente) quello che si vede: rubber hand illusion
Cosa accade quando quello che si sente (tattilmente) in conflitto con quello che
si vede? Alcuni studiosi hanno dimostrato che la visione pu dominare anche sul senso
del tatto e della propriocezione. Per esempio, in uno studio di Botvinick e Cohen (1998,
pubblicato sulla rivista Nature) le persone mettevano una mano nascosta dietro ad uno
schermo, che era posto su un tavolo di fronte a loro. Un modello di mano di gomma, a
grandezza naturale, veniva posto su un tavolo alla vista delle persone, in una posizione
differente rispetto a quella della mano reale. Usando due pennelli, lo sperimentatore
iniziava

toccare

entrambe

le

mani

(cio

quella

reale

quella

finta)

contemporaneamente. Le persone dovevano guardare la mano artificiale. Questo

contribuiva a creare un situazione di conflitto tra informazione visiva (relativa alla mano
di gomma) ed informazioni tattili e propriocettive (relative alla mano reale). Il tocco con
il pennello durava alcuni minuti, passati i quali, le persone riferivano di sentire la mano
finta come parte del loro corpo. In particolare, avevano la sensazione che il tocco del
pennello, che loro percepivano sulla loro mano reale (informazione tattile), si fosse
trasferito sulla mano di gomma, che vedevano toccata dal pennello (informazione visiva).
Linformazione visiva aveva una tale influenza che riusciva anche a imbrogliare le
informazioni propriocettive. Infatti, molti dei partecipanti a questo esperimento,
credevano che la posizione della mano reale, coincidesse con quella della mano di
gomma. Queste erano alcune delle risposte date dalle persone che avevano preso parte
allesperimento: Avevo la sensazione che la mano di gomma fosse la mia mano,Mi

Prof. M Zampini

6
sono ritrovato a guardare la mano finta pensando che fosse la mia mano, Mi sembrava
di sentire il tocco del pennello nella posizione in cui io vedevo la mano di gomma
toccata.
Questi risultati dimostrano come linformazione visiva relativa alla mano di
gomma possa anche catturare o dominare le informazioni tattili e propriocettive
relative alla mano reale, e quindi incongruenti con essa. Ancora una volta lillusione della
mano di gomma non pu essere superata dalla nostra volont (cio automatica),
sebbene essa possa scomparire, se la mano di gomma viene posta in posizione
anatomicamente poco plausibili (per es., a 90 rispetto al corpo delle persone; vedi
Pavani, Spence, & Driver, 2000), o se la mano reale e la mano finta vengono toccate in
momenti differenti.
Assaporare quello che si vede
La vista pu influenzare anche il gusto e lolfatto. Per esempio, DuBose, Cardello,
e Maller (1980) presentarono delle bevande al gusto di ciliegia, colorate in maniera
compatibile (cio di rosso) o incompatibile (cio arancione o verde) con il gusto stesso.
Essi trovarono che mentre la maggior parte delle persone riteneva, correttamente, che il
gusto fosse ciliegia, quando la bevanda era di colore rosso, molti pensavo che il suo
sapore fosse arancia, quando la bevanda era di colore arancione, e di lime quando la
bevanda era di colore verde. In un altro esperimento condotto negli anni settanta, ad un
gruppo di persone venne offerto un pasto a base di bistecche e patatine, che sembravano
normali sotto una luce colorata usata a proposito. Inizialmente, il cibo venne gradito dai
commensali; tuttavia, ad un certo punto del pasto lilluminazione torn alla normalit. A
quel punto le persone realizzarono che le bistecche era di color blue, e le patatine verdi,
molti di loro si sentirono male (vedi Schlosser, 2001).
Nel loro insieme, questi studi sui conflitti sensoriali, mostrano che la visione
domina sugli altri sensi (udito, tatto, propriocezione e gusto), in molte situazioni sia per
gli uomini che per le altre specie animali. Tuttavia, la visione non sempre il senso
dominante........

Prof. M Zampini

7
Dominanza uditiva
Talvolta quello che udiamo pu cambiare quello che vediamo e quello che
sentiamo (tattilmente). Per esempio, Shams e colleghi (2000) hanno dimostrato che un
suono (bip) ripetuto pu creare lillusione di una luce intermittente. Le persone nel loro
studio fissavano un punto su un monitor di computer e dovevano giudicare quanto
frequentemente un disco bianco lampeggiava alla periferia dello schermo. Quando lo
stimolo visivo veniva presentato senza alcun suono, le persone non avevano problemi a
riportare correttamente il numero di volte che il disco veniva fatto lampeggiare sullo
schermo (1-4 volte). Mentre, quando un singolo lampeggio era accompagnato
contemporaneamente da bip multipli, le persone pensavano che la luce avesse
lampeggiato diverse volte. Questo lampeggio illusorio dimostra che quello che udiamo
pu influenzare quello che vediamo. importante notare, che in questo caso non vero il
contrario. Shams e colleghi, infatti, hanno dimostrato che il lampeggiare di una luce non
pu portare a percepire pi volte un suono presentato una sola volta.
Ludito influenza il tatto: lillusione della pelle a pergamena - parchment skin
illusion
Le informazioni uditive possono anche influenzare (o dominare) la percezione
tattile in assenza di informazioni visive, come dimostrato dalla parchment skin illusion
(Jousmaki & Hari, 1998). In questo esperimento, alle persone veniva chiesto di
strofinarsi le mani e di giudicane la ruvidezza/secchezza mentre le strofinavano. Il suono
prodotto dalle mani mentre venivano strofinate era raccolto da un microfono posto vicino
alle mani, e fatto sentire alle persone tramite delle cuffie. Il feedback uditivo che le
persone percepivano poteva essere uguale alloriginale, oppure venire modificato,
amplificando o riducendo le alte frequenze (cio superiori ai 2Hz). Le persone riferivano
di sentire (percezione tattile) le loro mani pi lisce e asciutte quando le alte frequenze
erano amplificate (percezione acustica), mentre la riduzione del suono (percezione
acustica) per queste frequenze portava a sentire le mani pi ruvide/umide (percezione
tattile). Quindi, la percezione delle caratteristiche della superficie della loro pelle fu
notevolmente influenzata dal suono che sentivano. Si pu provare qualcosa di simile alla
parchment skin illusion a casa usando solamente un foglio di carta. Inizialmente, si

Prof. M Zampini

8
provi a far scorrere il dito sopra una superficie relativamente liscia, come quella di un
tavolo. Cosa si sente (tattilmente ed acusticamente)? Ora, si faccia lo stesso mettendo un
foglio di carta sotto le dita. Ci si dovrebbe accorgere di sentire di pi. In particolare, si
dovrebbero sentire cambiamenti graduali della superficie, di cui prima non ci si era
accorti (Gordon & Cooper, 1975). Questo sembra essere dovuto al fatto che il foglio di
carta amplifica i suoni prodotti quando il dito tocca la superficie. Questa semplice
dimostrazione prova che ludito pu essere usato per migliorare il tatto.
Dominanza sensoriale
Gli studi sui conflitti sensoriali mostrano come il senso che domina sugli altri sia
differente a seconda delle situazioni. Ma cosa determina quale modalit dominer in una
particolare situazione? Welch e Warren (1980) hanno suggerito che il senso che fornisce
le informazioni sensoriali pi accurate dominer il nostro giudizio percettivo (la
cosiddetta ipotesi della modalit appropriata). Per giudizi spaziali, la visione ha la
migliore risoluzione spaziale e cosi domina sugli altri sensi. Al contrario, ludito ha una
migliore risoluzione temporale rispetto agli altri sensi, e cosi dominer i giudizi
temporali. Per le future ricerche, rimane da stabilire fino a che punto noi possiamo
aggirare gli effetti di dominanza sensoriale, semplicemente concentrando la nostra
attenzione su una particolare modalit sensoriale.
La fusione dei sensi
Gli studi sulla dominanza sensoriale, descritti nei precedenti paragrafi, dimostrano
chiaramente, che quando le persone integrano le informazioni provenienti dai diversi
sensi, danno una maggiore importanza alle informazioni che provengono dalla modalit
sensoriale che fornisce le informazioni pi accurate. In determinate situazioni, questo pu
portare alla dominanza di un senso sullaltro. Tuttavia in molte situazioni quotidiane, il
nostro pi importante problema quello di estrarre solo le informazioni sensoriali
rilevanti tra tutte quelle che raggiungono simultaneamente i nostri sensi. stato
dimostrato che sia uomini, che animali utilizzano un numero di regole per combinare
segnali multisensoriali, e facilitare lelaborazione di quelli che possono essere le
informazioni rilevanti, limitando laccesso delle informazioni irrilevanti.

Prof. M Zampini

Rafforzamento della risposta multisensoriale

Uno dei modi che ha il nostro cervello per estrarre le informazioni sensoriali
rilevanti in un ambiente ricco di segnali sensoriali differenti, quello di dare pi
importanza alle combinazioni di segnali deboli provenienti dallo stesso oggetto o evento
(cio che provengono dalla stessa posizione nello stesso momento). Questo aumento delle
risposte multisensoriali da la possibilit di vagliare le informazioni provenienti
dallambiente che ci circonda facilitando lelaborazione delle informazioni pi rilevanti.
Alcuni psicologi cognitivi hanno anche mostrato che esistono meccanismi di selezione
attentiva che ci permettono di favorire lelaborazione di informazioni importanti
provenienti da una posizione particolare o che interessano un modalit sensoriale
particolare (come quando ci concentriamo su quello che vediamo o su quello che
sentiamo). Un esempio il problema del cocktail party (Cherry, 1953). In altre parole,
come possibile che si riesca a sentire quello che uno dice in una situazione rumorosa
come una festa (cocktail party)? Sebbene in passato questo problema sia stato studiato,
solo dal punto di vista uditivo, un pi attento esame mostra come esso possa essere un
problema di selezione multisensoriale, dal momento che una persona, in quella
situazione, deve anche estrarre rilevanti informazioni visive, come il movimento delle
labbra, le espressioni del viso e per finire i gesti (Driver & Spence, 1994). Inoltre una
persona al fine di capire quello che unaltra persona sta dicendo, potrebbe anche aver
bisogno di ignorare informazioni irrilevanti, che potrebbero distrarre, come per esempio
il profumo di qualcuno (stimolo olfattivo) e forse anche il sapore di una bevanda o del
cibo (stimolo olfattivo e gustativo). I meccanismi dellattenzione selettiva multisensoriale
ci aiutano a rendere pi facile lelaborazione di tutti i segnali sensoriali provenienti da
una particolare posizione, eliminando le informazioni irrilevanti provenienti da altre
posizioni.
Odorare meglio
Dalton e colleghi (2000) hanno dimostrato come il rafforzamento delle risposta
multisensoriale pu favorire la nostra percezione dei sapori. (N.B.: La percezione del
sapore avviene attraverso lintegrazione di informazioni provenienti da due sensi: Il gusto

Prof. M Zampini

10
e lolfatto. Lolfatto a sua volta pu essere considerato un doppio senso. Il cervello
percepisce in due modi diversi lo stesso odore, a seconda che esso provenga dalla bocca ,
via retronasale o dal naso via ortonasale vedi slide). Alle persone nello studio di
Dalton e coll. era richiesto di decidere se riuscivano a percepire lodore delle mandorle
(benzaldeide) quando era presentato loro a varie concentrazioni. Usando una tecnica
psicofisica, (metodo della scala psicofisica-staircase method), Dalton e colleghi
calcolarono la minima concentrazione di benzaldeide necessaria per percepire lodore
(quella che viene chiamata soglia della detezione nasale). Quella che Dalton e colleghi
facevano applicando il metodo della scala psicofisica era di presentare degli stimoli
iniziali che potevano essere o chiaramente percepibili (soprasoglia) o chiaramente non
percepibili (sottosoglia), chi partecipava allesperimento doveva dire se sentiva lodore
oppure no. In caso di risposta positiva (molto probabile per lo stimolo soprasoglia) la
concentrazione di benzaldeide veniva ridotta, in caso di risposta negativa (altrettanto
probabile per stimoli sottosoglia) veniva aumentata. Questo tipo di procedura veniva
seguita finch non si otteneva una risposta contraria a quella data fino a quel momento
(per esempio, la continua riduzione della concentrazione del benzaldeide, poteva portare,
ad un certo punto, alla mancata percezione dello stimolo stesso, e quindi ad una risposta
negativa, cos come laumento della concentrazione poteva portare ad un certo punto ad
una risposta positiva). Quando veniva presentata uninversione di risposta, anche la
procedura veniva invertita. La concentrazione che fino a quel momento era stata ridotta,
veniva aumentata, e viceversa per la concentrazione che fino a quel momento era stata
aumentata. Dopo un certo numero di inversioni, la somministrazione degli stimoli veniva
terminata. La soglia veniva stabilita facendo una media dei valori che avevano portato ad
un rovesciamento della risposta. Stabilita la soglia, Dalton e coll. poi passavano alla fase
sperimentale vera e propria. In questa fase, notarono che le persone erano capaci di
sentire lodore delle mandorle ad una intensit dello stimolo molto pi bassa della soglia
(cio ad una minor concentrazione di quella solitamente necessaria per percepire lo
stimolo) quando contemporaneamente essi potevano gustare una quantit sottosoglia
(cio impossibile da percepire) di soluzione zuccherata (contenente saccarina) sulla
lingua. Questo risultato sembra dimostrare che lintegrazione multisensoriale pu
facilitare la nostra capacit di percepire stimoli sottosoglia (cio non percepibili).

Prof. M Zampini

11
importante notare come questi effetti da aumento multisensoriale non funzionano con
tutte le combinazioni di stimoli olfattivi e gustativi. In un esperimento successivo, Dalton
e altri hanno riferito che la percezione nasale non era influenzata dal fatto che le persone
tenessero sulla loro lingua soluzioni sottosoglia di Monosodio glutammato (MSG) o di
acqua deionizzata (che non aveva alcun gusto). Questo risultato mostra che gli effetti da
aumento multisensoriale funzionano solo per certe combinazioni di stimoli olfattivi e
gustativi, in particolare per quelle combinazioni di sapori e odori che normalmente si
presentano assieme, come la saccarina e la benzaldeide, che si possono trovare in dolci e
biscotti per esempio.
Percezione temporale multisensoriale
Introspettivamente, sembra che siamo sensibili allasincronia tra due stimoli di
modalit differenti. Per esempio, si capisce immediatamente quando un film straniero ha
un pessimo doppiaggio. Tuttavia, i segnali sensoriali, raramente raggiungono il cervello
nello stesso momento. Per questo, importante che il nostro cervello sia in grado di unire
informazioni sensoriali che gli arrivano in momenti differenti. Il tempo impiegato
dallenergia fisica (per es., onde sonore o luce) per essere trasformata in segnali neurali,
varia notevolmente tra le diverse modalit sensoriali. Per esempio, ci vuole circa 1ms
perch gli stimoli uditivi vengano trasdotti, mentre ci vogliono 30-40ms per gli stimoli
visivi, mentre gli stimoli tattili impiegano approssimativamente tra i 15 ed i 30ms a
seconda della parte del corpo stimolata e della temperatura corporea. Invece, si stimato
che gli stimoli olfattivi impieghino allincirca 100-150ms per attraversare la mucosa
nasale. Di conseguenza, le varie informazioni multisensoriali riguardanti un singolo
oggetto, possono non arrivare al cervello nello stesso momento. Questo problema risulta
ancor pi complicato , se si pensa, per esempio, che le onde sonore viaggiano ad un
velocit che rappresenta un piccola frazione della velocit della luce (il suono 330 m/s la
luce a circa 300 milioni m/s). Quindi anche i differenti segnali sensoriali possono non
raggiungere i rispettivi recettori nello stesso momento. Nel caso della vista e delludito,
questo significa che quello che si sente (acusticamente) arriva al nostro cervello prima di
quello che si vede quando gli oggetti o gli eventi sono vicini, ma vero il contrario per
stimoli lontani (per esempio, il caso dei fuochi dartificio, o dei tuoni e lampi). stato

Prof. M Zampini

12
stabilito che i vari fattori che determinano larrivo degli stimoli al cervello si equivalgano
ad una distanza di 10 m (almeno per la vista e ludito). A questa distanza, il cosiddetto
orizzonte di simultaneit, stimoli visivi ed uditivi arrivano al cervello simultaneamente.
Data questa variabilit nel tempo di arrivo degli stimoli, sembra che il nostro cervello
abbia sviluppato una ampia finestra temporale entro la quale gli stimoli vengono percepiti
come sincroni. Alcune ricerche suggeriscono che stimoli sensoriali possono arrivare
anche con un intervallo di 100ms, e ciononostante, la loro asincronia sia impossibile da
percepire. La sincronia temporale uno delle informazioni pi importanti che il nostro
cervello utilizza per decidere quali dei vari segnali sensoriali integrare tra loro. Perch la
sincronia temporale cosi importante? Perch ci permette di capire se stimoli sensoriali
differenti appartengano allo stesso evento esterno o meno. Infatti, molto difficile che
due stimoli sensoriali differenti (es. visivo e tattile) percepiti nello stesso identico
momento, non provengano dallo stesso evento. Per misurare la sincronia temporale
multisensoriale, solitamente vengono utilizzati due compiti: il giudizio di ordine
temporale (TOJ, temporal order judgment) ed il giudizio di simultaneit. In entrambi i
compiti, tradizionalmente, stimoli di modalit differenti (per esempio, visivi ed uditivi)
vengono presentati in sequenza ad intervalli differenti (le differenze sono sempre in
termini di ms) o simultaneamente. Nel giudizio di ordine temporale, il soggetto deve dire
quale lo stimolo presentato per primo (lo stimolo visivo o uditivo), mentre nel giudizio
di simultaneit si deve stabilire se i due stimoli erano stati presentati in sequenza o
simultaneamente. Attraverso questi compiti, si ricavano dei parametri che permettono di
stabilire la percezione soggettiva di simultaneit. Altri esperimenti, invece, ci permettono
di valutare la nostra abilit a risincronizzare segnali sensoriali. stato dimostrato, per
esempio, che se si presenta un videotape con suono ed immagini non sincrone (con il
suono che precede limmagine), per il primo periodo lasincronia si percepisce
chiaramente. Tuttavia, se si continua a guardare il videotape per 15-20 secondi, il nostro
cervello riuscir a risincronizzare i segnali, ed a questo punto, sar molto difficile
percepire lasincronia. Lintervallo massimo di asincronia che permette questa
risincronizzazione di 250ms, con il suono presentato prima dellimmagine.
Il fatto di conoscere fino a quale intervallo si riescono a percepire come sincroni,
due stimoli presentati in successione, pu avere delle applicazioni pratiche. Per esempio,

Prof. M Zampini

13
se consideriamo stimoli acustici e visivi, i limiti della percezione della sincronia, possono
avere rilevanza nella realizzazione di apparecchi acustici, per chi si occupa di sistemi di
videoconferenze, ed infine per le trasmissioni televisive via satellite. In questo senso,
sono gi stati realizzati degli studi che si possono definire di psicologia cognitiva
applicata (vedi Finger e Davis, 2001; Pandev et al., 1986; Rihs, 1995). Pandev e coll. per
esempio si occuparono di apparecchi acustici. Solitamente chi indossa apparecchi
acustici, se ascolta una persona, combina i suoni della voce della persona, che
lapparecchio fornisce, con la lettura delle labbra. Se chi indossa lapparecchio, si
accorge che i due stimoli non sono sincroni, trover la sensazione molto spiacevole, e
difficilmente riuscir a comprendere quello che la persona sta dicendo. Per questo, chi si
occupa della realizzazione di apparecchi acustici, cerca di capire fino a che punto si possa
accettare lasincronia tra stimoli visivi ed uditivi, utilizzando questi apparecchi. Rihs ha
studiato il problema dellaccettabilit dellasincronia per quello che concerne
videoconferenze (chi abbia potuto assistere a questo tipo di conferenze, pu capire quale
sia la difficolt di capire quello che una persona sta dicendo, se la voce ed il movimento
della labbra, non vengono percepiti in sincronia). Infine, Finger e Davis, si sono occupato
dei limiti della percezione della sincronia, in trasmissioni satellitari (probabilmente tutti
hanno avuto modo di sperimentare quando risulti poco piacevole una trasmissione
satellitare in cui segnale visivi ed acustico arrivano in successione).
Psicologia multisensoriale applicata
Le possibili applicazioni degli studi condotti sulla percezione multisensoriale, non
si limitano alla percezione della sincronia multisensoriale. Per esempio, la natura
automatica

dellintegrazione

multisensoriale,

come

mostrata

nellillusione

del

ventriloquo, pu avere importanti implicazioni, per la realizzazione di sistemi di

videoconferenze. Al momento, la voce di tutti le persone che parlano in videoconferenza,
proviene da ununica posizione (quelle delle casse), questo rende difficile la possibilit di
poter distinguere tra le varie voci quando pi persone stando parlando. Se differenti
schermi, ciascuno con limmagine della faccia di una persona differente, fossero collocati
in posizioni differenti, probabilmente, questo permetterebbe al cervello di separare
automaticamente le varie voci, legandole ai rispettivi movimenti labiali (questo in virt

Prof. M Zampini

14
del fatto che, come abbiamo visto nellillusione del ventriloquo, linformazione visiva
attrae linformazione acustica, in condizioni di conflitto tra le fonti di stimolazione),
aiutando, quindi, la comprensione dei differenti discorsi.
Un altro studio, invece, sembra suggerire che piloti daereo, dovranno presto
inserire nei loro curricula, anche lavere una pelle sensibile. Infatti, ricercatori americani
hanno mostrato come i piloti possano ottenere maggiori informazioni tattili da braccialetti
che emettono vibrazioni che non da informazioni visive della strumentazione di bordo. In
particolare, Sklar e Sarter (1999) paragonarono labilit di piloti daereo, di prendere
decisioni in volo, in seguito alla presentazione di informazioni tattili o visive. Nel loro
studio, i piloti indossavano delle braccialetti vibratori attorno ai loro polsi (qualcosa di
simile ad un orologio che vibra). Le informazioni riguardo le condizioni del loro aereo
venivano presentate sia utilizzando il sistema tradizionale che dava informazioni di tipo
visivo, o attraverso segnali, che venivano forniti attraverso la vibrazione di questi
braccialetti. Sorprendentemente, i piloti reagivano molto pi rapidamente quando le
informazioni erano presentate tattilmente ai polsi, rispetto a quando le stesse venivano
presentate visivamente.
Lo studio della percezione multisensoriale pu avere delle applicazioni pratiche
per limitare il numero di incidenti stradali. Alcune ricerche hanno mostrato come
lutilizzo del telefono cellulare quando si alla guida di unauto faccia aumentare il
rischio di avere incidenti (Redelmeier & Tibshirani, 1997). Questo aumento equivalente
a quello che si ha quando si guida in stato di ebbrezza (Vinson et al., 1995). Perch
telefonare cos pericoloso? A sorpresa emerso che le difficolt motorie legate al fatto
di tenere il telefono in mano, hanno un effetto minimo, sulla guida. Invece, quello che
sembra maggiormente influenzare la guida, la distrazione prodotta dalla conversazione
telefonica (Violanti & Marshall, 1996). Forse perch chi guida trova difficile dirigere
lattenzione visiva ed uditiva in differenti direzioni allo stesso momento (cio il
guidatore, pu trovare difficile dividere la sua attenzione tra gli occhi e le orecchie).
Spence & Read (2000) utilizzando un sistema che permette di simulare la guida hanno
dimostrato che i guidatori, coinvolti nellesperimento, trovavano molto pi semplice
seguire la conversazione al telefono cellulare, se la voce proveniva da una posizione
direttamente di fronte a loro (cio da dove loro stavano guardando), rispetto a quando la

Prof. M Zampini

15
voce proveniva da una posizione laterale (cio da dove solitamente si ascolta la
conversazione telefonica, tenendo in mano il telefono cellulare). Questi risultati
suggeriscono che una soluzione pratica per ridurre il pericolo generato dalla
conversazioni telefoniche, finch si guida, di far provenire la voce dal parabrezza,
quindi anteriormente, da dove arriva la gran parte della stimolazione visiva.
Una curioso esempio di come la percezione multisensoriale possa avere delle
applicazioni pratiche si visto al Salone dellauto di Ginevra del 2005, la svizzera
Rinspeed e la Bayer MaterialScience hanno presentato il prototipo "Senso", che ambisce
a rappresentare figurativamente la percezione dei cinque sensi, adattandoli al guidatore.
L'idea quella di un veicolo che avverta, o meglio che sia in grado di monitorare, le
condizioni psicofisiche del pilota, adottando opportune contromisure ogniqualvolta rilevi
un calo della concentrazione o un eccesso di tensione. Allo scopo ci sono diversi sensori
che raccolgono dati sulle condizioni di chi guida e li trasmettono a un computer centrale
che li rielabora. In particolare, un orologio da polso "biometrico", collegato all'auto,
registra le pulsazioni del pilota, mentre una telecamera ne rileva il comportamento al
volante: quanto spesso e come cambia corsia e se rispetta le distanze di sicurezza. Sulla
base dei dati ricevuti ed elaborati, il computer di bordo elabora una serie di stimoli di
risposta, che dovrebbero mettere il conducente in uno stato di "attenzione rilassata",
dicono alla Rinspeed: "In funzione delle condizioni del pilota, quattro piccoli schermi
Lcd emettono, all'interno del suo campo visivo, motivi cromatici a dominante arancionegialla per stimolarne i riflessi o blu-violetta per rilassarlo, mentre se tutto ok
s'illuminano di una luce verde neutra". Analogo effetto sui pannelli interni del cruscotto,
fatti

di

uno

speciale

materiale

elettroluminescente,

sviluppato

dalla

Bayer

MaterialScience e dall'azienda svizzera specializzata Lumitec: la superficie controllata

via computer e, in base al voltaggio applicato, pu brillare di luce verde, blu o arancione.
Agli stimoli visivi si somma anche la musica, sintetizzata al computer, e varie fragranze
dall'effetto rilassante o stimolante. E se tutto questo non bastasse a tenere vigili, il sedile
di guida pu scuotere dal torpore, vibrando energicamente.
Nonostante questo crescente interesse per la percezione multisensoriale, al
momento molta della comunicazione pubblicitaria sembra concentrata sullinformazione
visiva, non curandosi di andare a stimolare anche gli altri sensi. Tuttavia, esperti in

Prof. M Zampini

16
marketing ora stanno iniziando a preoccuparsi di trovare nuove vie, molto pi
multisensoriali (Eleison & White, 2000). Per esempio, qualcuno ricorder qualche anno
fa, lo spot pubblicitario del gelato Magnum. Il messaggio era tutto focalizzato sul suono
prodotto, al morso del Magnum, quindi una messaggio non solo legato agli aspetti visivi
del consumo del prodotto, ma anche a quelli uditivi.
Confusione tra i sensi
Fino ad ora abbiamo visto come in alcune occasioni una modalit sensoriale possa
dominare le altre, come segnali di modalit sensoriali differenti possano integrarsi tra
loro, ora analizzeremo, come in altri casi si possa avere una confusione tra i sensi. Un
esempio di questa confusione quello dello starnuto da riflesso fotico (photic sneeze
reflex). Questo si manifesta nel 18-35% delle persone che starnutisce quando viene
improvvisamente esposta ad una luce intensa. Sebbene lesatta causa di questo starnuto
da riflesso fotico sia ancora sconosciuta, si pensa essa sia dovuta ad una confusione tra i
sensi. In particolare, si crede che esso possa essere evocato dal segnale luminoso (che
normalmente stimola il nervo ottico) che eccita in questo caso particolare i recettori
olfattivi che sono responsabili dello starnuto (Everett, 1964). Questo riflesso, potrebbe,
perci, riflettere una confusione tra la vista e lolfatto, perch i tratti neurali che
trasmettono informazioni visive ed olfattive si trovano vicini nel cervello (e forse molto
pi vicini in alcuni individui che in altri).
Altre confusioni percettive, sono quelle chiamate, illusione giapponese ed
illusione di Aristotele. Lillusione giapponese si ottiene quando si chiede ad una
persona di incrociare le braccia, ruotare le mani verso il basso ed unirle. A questo punto,
le mani unite vanno ruotate verso il corpo, finche i pollici arrivino a puntare verso lalto.
Una volta che questa postura stata assunta, si pu notare come le dita della mano destra
appaiano a sinistra, mentre le dita della mano sinistra appaiano a destra. Se si chiede, ad
una persona che ha assunto la postura sopra descritta, di muovere il dito, che viene
indicato, il pi velocemente possibile, solitamente si nota che la persona sbaglia,
movendo il dito omologo dellaltra mano (es. se si indica lanulare destro, la persona
muover lanulare sinistro). Questa illusione, stata descritta per la prima volta dal
francese Henri nel 1898, e mostra una confusione tra quello che sentiamo

Prof. M Zampini

17
propriocettivamente (posizione delle dita) e ci che vediamo. Il ruolo chiave della vista in
questa illusione dimostrato dal fatto che se si chiudono gli occhi, lillusione sparisce.
Una confusione simile sembra sia la causa di unaltra illusione riportata da Aristotele, per
questo chiamata illusione di Aristotele (McKeon, 1941). Se si incrociano due dita
adiacenti (di una mano; es. indice e medio) e poi si tocca il naso sulla punta si dovrebbero
provare la sensazione di toccare due nasi.
Infine, una particolare forma di confusione tra i sensi rappresentata dalla
sinestesia, che verr trattata per esteso nel prossimo capitolo.
Deprivazione sensoriale
Quelli che hanno perso o non hanno mai avuto una modalit sensoriale (come
persone cieche, per esempio) fanno un miglior uso degli altri sensi? Ricerche recenti
hanno iniziato a fornire delle risposte a questa domanda. Per esempio, Van Boven e coll.
(2000) hanno mostrato che la risoluzione tattile in persone cieche migliore del 30%
rispetto a quella di persone vedenti. Similmente Rder e coll. (2000) hanno mostrato che
persone cieche possono elaborare stimoli verbali pi rapidamente di quanto non riescano
a fare persone vedenti, e riescono a localizzare meglio anche la fonte del suono.
Sistemi di sostituzione sensoriale possono fornire uno strumento che permette, a
persone che hanno perso la loro abilit di percepire in una modalit sensoriale, di
utilizzare unaltra modalit sensoriale per ottenere queste informazioni. Il Braille un
ottimo esempio di un sistema di sostituzione sensoriale permette il trasferimento rapido di
informazioni da una modalit sensoriale ad unaltra nel caso di persone cieche. Alcuni
ricercatori hanno tentato di sviluppare altri sistemi, che permettano alle persone di
vedere, tramite lutilizzo del tatto o delludito. Per esempio, Bach-y-Rita (1982) ha
progettato un sistema che ha lo scopo di sostituire la vista con il tatto. Questo sistema
costituito da un insieme di stimolatori tattili posizionati sulla pelle, che emettono
vibrazioni. I vibratori vengono attivati da una videocamera montata su un paio di
occhiali, una volta inquadrato un oggetto, i vibratori si accendono riproducendo la forma
delloggetto preso in considerazione (nella slide si pu vedere lesempio di un telefono).
Uno dei problemi che hanno frenato lo sviluppo di questi sistemi quello della differenza
tra sistema tattile e visivo nellelaborazione delle informazioni. Mentre la vista elabora le

Prof. M Zampini

18
informazioni in parallelo (cio un grande numero di informazioni visive pu essere
processata in un solo istante), il tatto elabora le informazioni in maniera seriale (cio
lelaborazione avviene in maniera sequenziale una dopo laltra).
Bach-y-Rita ha realizzato anche un sistema che utilizza un feedback acustico
anzich tattile, il vOICe system. In questo sistema, di progettazione pi recente, una
webcam montata su un paio di occhiali, manda le informazioni visive ad un computer
portatile che le trasforma in suoni, e la persona pu sentire questi suoni attraverso un paio
di cuffie indossa. Nel trasformare una scena visiva in una corrispondente acustica, il
sistema fa una scansione della scena visiva da sinistra a destra, e cosi il suono che si sente
si riferisce agli elementi che sono prima a sinistra e poi, in sequenza, quelli che si trovano
a destra. La tonalit si riferisce alle dimensioni delloggetto, pi alto il tono e pi alto
loggetto. Il volume invece si riferisce alla luminosit delloggetto, quindi, pi alto il
volume e pi chiaro loggetto. Data la difficolt rappresentata dallutilizzo di questo
sistema, le persone che decidono di utilizzarlo, si devono sottoporre ad addestramento,
prima di poter ottenere dei risultati soddisfacenti.
Sistemi pi invasivi, che richiedono interventi chirurgici sono quelli dellimpianto
cerebrale ed impianto retinico (vedi slide).
Il BrainPort invece stato pensato per persone che hanno problemi a mantenere
lequilibrio, a causa di un malfunzionamento del sistema vestibolare. Questo sistema
composto da un casco nel quale sono inseriti una serie di sensori che misurano le
coordinate spaziali. Questi sensori inviano le informazioni ad un computer portatile che
poi le trasforma in impulsi tattili, che vengono presentati attraverso una serie di
stimolatori posti sulla lingua. Persone che avendo perso il senso gravitazionale, non
riescono pi a stare in piedi neanche per pochi secondi (in seguito ai danni al sistema
vestibolare cadono per terra), utilizzando questo sistema, riescono a recuperare la loro
normale postura.
Deprivazione sensoriale e plasticit neurale
In maniera alquanto sorprendente, sembra che se una modalit sensoriale
assente (per es., nel caso di persone cieche), un altra modalit sensoriale prender il posto
di quella assente ed andr a reclutare quelle aree cerebrali normalmente attivate dalla

Prof. M Zampini

19
modalit sensoriale non funzionante. Questo significa che la parte del cervello
solitamente utilizzata per elaborare stimoli visivi (la corteccia visiva), pu essere
coinvolta nellelaborazione di stimoli tattili in persone cieche. Studi di neuroimmagine
hanno mostrato che le aree visive in persone cieche vengono anche attivate anche nel
caso di presentazione di stimoli uditivi. A conferma di questi dati, ci sono studi di
stimolazione magnetica transcranica (TMS, transcranic magnetic stimulation) su pazienti
ciechi. Lutilizzo di questa tecnica attraverso stimolazione magnetica, permette di
produrre delle lesione cerebrali transitorie (di cui non rimane traccia, finita la
stimolazione) che temporaneamente producono un malfunzionamento dellarea stimolata.
I risultati di questi studi hanno mostrato che la TMS utilizzata su aree visive, produce un
peggioramento in compiti tattili ed uditivi. Lo stesso peggioramento stato descritto
anche in una persona con cecit corticale (che non riusciva a vedere in seguito ad una
lesione alla corteccia visiva). Considerate nel loro insieme, queste sembrano essere
convincenti prove sperimentali del coinvolgimento delle aree visive nellelaborazione di
stimoli tattili ed acustici.
Basi neurali dellintegrazione multisensoriale
I ricercatori sanno da molti anni che il cervello separato in molte aree, alcune
delle quali, le corteccie sensoriali primarie, sono specializzate nellelaborazione di
informazioni provenienti da ciascuno dei differenti sensi (es., corteccia visiva primaria;
corteccia uditiva primari; corteccia somatosensoriale primaria ecc.). Con lavvento delle
moderne tecniche di neuroimmagine (in particolare risonanza magnetica funzionale,
fMRI) e divenuto possibile per i ricercatori, investigare dove nel cervello vengono
integrati i vari segnali sensoriali. Neuroscienziati cognitivi hanno mostrato che
lintegrazione di stimoli appartenenti a differenti modalit sensoriali avviene in differenti
strutture cerebrali. Queste includono il collicolo superiore, linsula/claustrum, aree
temporiali superiori, ed aree parietali inferiori.
Il collicolo superiore una struttura cerebrale sottocorticale, che coinvolta nel
controllo dellorientamento delle risposte, come quando si gira la testa, improvvisamente,
verso un rumore inaspettato. Alcuni ricercatori hanno mostrato che molti neuroni del
collicolo superiore sono multisensoriali, cio neuroni che rispondono sia a stimoli visivi,

Prof. M Zampini

20
uditivi, o tattili (Stein & Meredith, 1993). Molti neuroni del collicolo superiore
rispondono debolmente a stimoli visivi ed uditivi deboli se questi sono presentati
isolatamente, ma si attivano molto vigorosamente quando entrambi gli stimoli sono
presentati assieme (mostrano, cio, un aumento multisensoriale). Questo aumento della
risposta multisensoriale molto pi grande quando ciascun stimolo presentato a un
livello appena percepibile (principio conosciuto come dellefficacia inversa). Sebbene
questo possa sembrare poco sensato, se si considera il caso in cui ciascun stimolo sia
presentato al massimo della sua percettibilit, allora ci sarebbe un vantaggio minimo nel
combinarli. Invece, se ciascuno stimolo debole, allora il fatto che la risposta neuronale
possa essere aumentata combinando gli stimoli, pu portare ad un aumento dellintensit
percepita degli stimoli. Meredith e Stein hanno anche notato un effetto di soppressione
della risposta, quando vengono presentate combinazioni di stimoli uditivi e visivi. Questo
effetto di riduzione della risposta neuronale si registra quando gli stimoli visivi ed uditivi
vengono presentati da posizioni differenti, o a piccoli intervalli luno dallaltro (cio
quando meno probabile che questi stimoli provengano dallo stesso oggetto).
Gli effetti di integrazione multisensoriale non sono semplicemente dovuti al
passaggio a senso unico di segnali dalle aree unisensoriali di ordine inferiore ad aree di
convergenza multisensoriale di ordine superiore. Infatti, recenti studi di neuroimmagine
hanno mostrato come alcune di queste aree multisensoriali di ordine superiore inviino
messaggi di ritorno ad aree di ordine inferiore, tradizionalmente considerate solo
unisensoriali, influenzando lelaborazione degli stimoli in queste aree.
Conclusioni
Lintegrazione multisensoriale gioca un ruolo centrale, per determinare come noi
percepiamo gli oggetti ed eventi che appartengono al mondo che ci circonda, anche quelli
che a prima vista sembrano essere unisensoriali. Numerose ricerche sperimentali hanno
mostrato come il cervello utilizzi un insieme di importanti regole per selezionare ed
integrare le informazioni rilevanti tra la moltitudine di segnali sensoriali che
costantemente bombardano i nostri sensi. Queste includono, per esempio, la maggior
possibilit di essere integrati, per stimoli che vengono presentati dalla stessa posizione e
nello stesso momento (coincidenza spaziale e temporale). Questo si nota soprattutto

Prof. M Zampini

21
quando stimoli sono particolarmente deboli (principio dellefficienza inversa). Inoltre,
abbiamo visto come gli stimoli sensoriali che forniscono informazioni maggiormente
precise, riescano ad influenzare la percezione di stimoli presentati in altre modalit
(dominanza sensoriale). I recenti sviluppi nelle tecniche di neuroimmagine hanno
permesso ai neuroscienziati di capire dove questa integrazione multisensoriale abbia
luogo, dimostrando una volta di pi come lo studio di un fenomeno da diversi punti di
vista (questa limpostazione delle neuroscienze cognitive, come abbiamo gi visto in
precedenza) possa essere sicuramente produttivo.
Bibliografia:
I riferimenti bibliografici degli studi citati su questa dispensa si possono trovare su:
G. Calvert, C. Spence, & B. E. Stein (Eds.), The handbook of multisensory processing.
MIT Press.

Prof. M Zampini