DIPARTIMENTO DI NUOVE TECNOLOGIE E LINGUAGGI MUSICALI

DIPLOMA ACCADEMICO DI 1 LIVELLO IN MUSICA ELETTRONICA

INDIRIZZO TECNICO DI SALA DI REGISTRAZIONE

Valutazione sperimentale della qualit`a percepita

dallesecutore al pianoforte digitale aumentato
con sistemi di feedback aptico

Studente: Lorenzo Malavolta

Matricola: 11439

Relatore: Prof. Giorgio Klauer

Correlatore: Prof. Federico Avanzini

Anno Accademico 2013-2014

Prefazione
Negli ultimi anni, grazie alle continue ricerche in ambito tecnologico, sono stati realizzati
pianoforti digitali con una meccanica sempre pi`u simile a quella dei pianoforti acustici;
tuttavia una caratteristica assente in questi strumenti e` il feedback aptico.
Uno dei recenti progetti promossi dallUniversit`a di Padova ha dimostrato limportanza
della percezione multi-sensoriale nella performance musicale e in particolare il ruolo del
feedback aptico (propriocettivo e vibrotattile) nel determinare la qualit`a percepita di uno
strumento musicale.
Questo elaborato illustra la realizzazione di questo progetto in cui, attraverso lutilizzo
di una tastiera prototipo che preveda limplementazione della sensazione tattile, sono stati
realizzati una serie di esperimenti qualitativi per individuare in che modo la componente
vibratoria possa influenzare la qualit`a percepita dello strumento musicale e la rilevanza del
contenuto spettrale dei segnali vibratori per la trasmissione di una risposta aptica simile a
quella di un pianoforte acustico.

Ringraziamenti
Giunto alla conclusione di questo lavoro, volevo ringraziare innanzitutto il mio relatore,
prof. Giorgio Klauer, il mio correlatore, prof. Federico Avanzini e i docenti prof. Stefano
Papetti e prof. Federico Fontana per avermi dato la possibilit`a di lavorare a questo progetto di ricerca presso il Centro di Sonologia Computazionale dellUniversit`a di Padova.
Ci`o per cui li ringrazio maggiormente, per`o, e` avermi permesso di lavorare in un clima
amichevole ed informale e di essersi sempre dimostrati disponibili a fornirmi consigli utili e spiegazioni per superare i problemi che man mano ho incontrato nello sviluppo del
presente lavoro.
Un sentito ringraziamento anche a tutti i pianisti che hanno preso parte ai test previsti
dal progetto, senza la vostra preziosa disponibilit`a, tutto ci`o non sarebbe stato possibile.
Non posso poi fare a meno di ringraziare i miei genitori che, nonostante le inevitabili incomprensioni, mi hanno sempre sostenuto, non mi hanno mai fatto mancare nulla,
nemmeno le cose pi`u superflue, e mi hanno permesso di arrivare dove sono.
Un grazie a mio fratello Federico e mia cognata Daria per il loro supporto e laiuto
fornito durante la stesura della tesi, nonostante la lontananza e i due baby nipotini.
Poi ci sono tutti gli amici. Mio nonno diceva che gli amici si contano sulle dita di
una mano, ma io ho sempre amato contraddirlo e lo faccio tuttora. E vero gli amici che
restano sono pochi, ma le persone fantastiche che transitano nella tua vita lasciandoti il
loro sorriso solo molte.
Grazie a RadioBue, la web radio dellateneo di Padova, ma soprattutto, un gruppo di
amici che nutrono la stessa passione: la radio. Qui ho incontrato e conosciuto tantissime
persone che mi hanno trasmesso grandi competenze unite a bellissime esperienze, forse
indimenticabili.
Grazie ad Irene, senza di lei non avrei mai intrapreso questo percorso di studi e non
avrei mai affrontato un passo importante come quello di trasferirmi a Padova.
Un grazie speciale ad Elisa, unica persona al mondo che sa capirmi, ascoltarmi e che
spesso in questo ultimo anno ha saputo smorzare i miei picchi di nervosismo e le mie
ansie: una sorella.
Non posso non ringraziare anche i miei colleghi stagisti SaMPL, nonche compagni di
corso, Matteo, Simone, Devid: un gruppo operativo come il nostro non so se lo trover`o
nuovamente nel corso della carriera.
Tra i compagni di corso ci tengo particolarmente a ringraziare anche Massimo, la mia
dolce met`a musicale, e Valerio, per i numerosi progetti intrapresi e portati a termine con
grande passione.

Infine ci tengo a ringraziare tutti coloro che mi sono stati vicini in questi tre anni
patavini, che hanno condiviso con me momenti di divertimento, momenti bizzarri, e che
mi hanno spesso caricato per affrontare con spirito positivo tutte le difficolt`a incontrate
durante questo percorso.
Dulcis in fundo, ringrazio la musica: sempre presente e fondamentale nella mia vita.
La musica e` un fluido in divenire, un linguaggio evanescente; ascoltandola entriamo in
unaltra vita e in un altro tempo.
Siamo altrove.

ii

Indice
Prefazione

Ringraziamenti

.
.
.
.

1
1
2
4
6

.
.
.
.
.
.
.

8
8
10
10
11
12
12
14

.
.
.
.
.

17
17
19
20
21
23

Esperimenti qualitativi
4.1 Esperimento A . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

24
24

Introduzione
1.1 Il pianoforte digitale . . . . . . . . . . . . . . .
1.2 Il feedback aptico . . . . . . . . . . . . . . . . .
1.3 Pianoforti digitali aumentati con feedback aptico
1.4 Sintesi del suono per modelli fisici . . . . . . . .
Generazione ed elaborazione campioni
2.1 File audio . . . . . . . . . . . . . . . . . . . . .
2.2 Struttura dello script di generazione . . . . . . .
2.2.1 Dichiarazione delle variabili . . . . . . .
2.2.2 Caricamento e analisi campioni originali
2.2.3 Prima fase . . . . . . . . . . . . . . . . .
2.2.4 Seconda fase . . . . . . . . . . . . . . .
2.2.5 Fase finale . . . . . . . . . . . . . . . .
Il setup sperimentale
3.1 Schema generale . . . . . . . . . . .
3.2 Campionatore . . . . . . . . . . . . .
3.3 Trasduttore . . . . . . . . . . . . . .
3.4 Tastiera prototipo . . . . . . . . . . .
3.5 Software per la gestione sperimentale

iii

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.

.
.
.
.
.
.
.

.
.
.
.
.

.
.
.
.

.
.
.
.
.
.
.

.
.
.
.
.

.
.
.
.

.
.
.
.
.
.
.

.
.
.
.
.

.
.
.
.

.
.
.
.
.
.
.

.
.
.
.
.

.
.
.
.

.
.
.
.
.
.
.

.
.
.
.
.

.
.
.
.

.
.
.
.
.
.
.

.
.
.
.
.

.
.
.
.

.
.
.
.
.
.
.

.
.
.
.
.

.
.
.
.

.
.
.
.
.
.
.

.
.
.
.
.

.
.
.
.

.
.
.
.
.
.
.

.
.
.
.
.

.
.
.
.

.
.
.
.
.
.
.

.
.
.
.
.

.
.
.
.

.
.
.
.
.
.
.

.
.
.
.
.

.
.
.
.

.
.
.
.
.
.
.

.
.
.
.
.

4.2

4.3
5

4.1.1 Procedura sperimentale .

4.1.2 Interfaccia sperimentale
Esperimento B . . . . . . . . .
4.2.1 Procedura sperimentale .
4.2.2 Interfaccia sperimentale
Risultati . . . . . . . . . . . . .

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.

Conclusioni e sviluppi futuri

24
25
27
27
28
30
33

Appendici

36

A Codice
A.1 Script Utilizzati . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

36
36

iv

Elenco delle figure

1.1
1.2
1.3
1.4

Setup dellesperimento condotto da Zanini (Figura tratta da [20]) . .

MIKEY keyboard (Figura tratta da [14]) . . . . . . . . . . . . . . . .
Yamaha AvantGrand . . . . . . . . . . . . . . . . . . . . . . . . . .
Physics Piano H1 prodotto dalla Viscount International Spa . . . . .

.
.
.
.

3
5
6
7

2.1
2.2
2.3

Inviluppo di un campione audio di vibrazione, nota A1 velocity 100 . . .

Schema del filtro passa-banda . . . . . . . . . . . . . . . . . . . . . . .
Grafico delle due forme donda sovrapposte . . . . . . . . . . . . . . . .

9
13
15

3.1
3.2
3.3
3.4
3.5

18
20
20
21

3.6

Schema del setup sperimentale . . . . . . . . . . . . . . . . . . . . . . .

Mapping editor del banco di campioni noise in ambiente Kontakt . . . . .
Modello di trasduttore scelto per la realizzazione della tastiera prototipo .
Risposta in frequenza dellattuatore (Figura tratta da [3]) . . . . . . . . .
Uno dei due trasduttori posizionato al di sotto della tastiera (Figura tratta
da [9]) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
Allestimento setup esperimento . . . . . . . . . . . . . . . . . . . . . . .

4.1
4.2
4.3
4.4
4.5
4.6
4.7

Patch di Pure Data usata per lesperimento A

Patch di Pure Data usata per lesperimento B
Esempio di playlist del soggetto 1 . . . . . .
Risultati esperimento A . . . . . . . . . . . .
Risultati esperimento A - gruppo positivo . .
Risultati esperimento A - gruppo negativo . .
Risultati esperimento B . . . . . . . . . . . .

26
28
29
30
31
32
32

.
.
.
.
.
.
.

.
.
.
.
.
.
.

.
.
.
.
.
.
.

.
.
.
.
.
.
.

.
.
.
.
.
.
.

.
.
.
.
.
.
.

.
.
.
.
.
.
.

.
.
.
.
.
.
.

.
.
.
.
.
.
.

.
.
.
.
.
.
.

.
.
.
.
.
.
.

.
.
.
.
.
.
.

.
.
.
.
.
.
.

.
.
.
.

.
.
.
.
.
.
.

.
.
.
.
.
.
.

22
22

Capitolo 1
Introduzione
In questo primo capitolo viene presentato il pianoforte digitale (Sezione 1.1) spiegandone
aspetti tecnici e differenze con il pianoforte acustico. Nella Sezione 1.2 viene spiegato
cos`e il feedback aptico, la sua importanza nella performance musicale e nella percezione
qualitativa dello strumento.
Nella Sezione 1.3 si proseguir`a con un approfondimento riguardo il feedback aptico e la
sua implementazione nelle tastiere digitali.
La Sezione 1.4 illustra la sintesi per modelli fisici e la sua applicazione.

1.1

Il pianoforte digitale

Il pianoforte digitale e` uno strumento elettronico che tenta di simulare in modo pi`u realistico possibile le sonorit`a di un pianoforte acustico.
Le dimensioni di questi strumenti sono molto ridotte rispetto a quelli tradizionali per
facilitarne il trasporto. Hanno a disposizione una memoria interna dove sono contenuti,
nella maggior parte dei casi, pochi suoni campionati per ciascuna nota.
I pianoforti digitali, in genere, hanno diversi output sia MIDI che audio e dispongono
di altrettanti input dove si possono collegare accessori (come ad esempio il pedale sustain), che li rende simili a pianoforti acustici. Questi strumenti sono muniti inoltre di
una tastiera pesata il cui funzionamento imita quello della meccanica di un pianoforte
acustico.
I modelli pi`u economici utilizzano tasti di plastica assieme ad un sistema di molle che
cerca di approssimare la risposta dinamica di un tasto a quella dei martelletti, con risultati
scadenti. I modelli pi`u costosi, invece, servendosi di tasti in legno e di una meccanica a
martelletti in miniatura, simulano il peso e linerzia naturale del tasto.

Capitolo 1. Introduzione

La differenza sostanziale, tuttavia, sta nella posizione in cui i martelletti sono montati
e ovviamente i materiali di costruzione. Nel pianoforte acustico sono di legno, ricoperti
di feltro e si trovano immediatamente al di sotto della cordiera. Nel pianoforte digitale,
invece, sono di metallo e contenuti nella cavit`a di ciascun tasto.
Nonostante i modelli pi`u costosi ed avanzati ottengano ottimi risultati, la maggior
parte dei musicisti considera la sensazione data da una tastiera tradizionale di gran lunga
pi`u soddisfacente e coinvolgente.

1.2

Il feedback aptico

La ricerca scientifica sta progressivamente riconoscendo limportanza della percezione

multisensoriale nella performance musicale. Il corpo umano e` formato da molteplici recettori e sensori (tatto, vista, udito, ecc.); combinando e unendo le loro informazioni,
otteniamo ci`o che viene definita appunto percezione multimodale (o multisensoriale).
Sulla base del sistema neuronale, la percezione sensoriale umana pu`o essere suddivisa in 3 sistemi distinti: cinestetico, cutaneo, aptico. Il sistema cinestetico riunisce tutti i
recettori presenti nei muscoli, nei tendini e nelle varie articolazioni. Il sistema cutaneo
raggruppa tutti i recettori presenti nella pelle. Il sistema aptico, invece, si serve degli stimoli di entrambi i precedenti sistemi [12]. Particolare importanza nellindagare la qualit`a
percepita di uno strumento musicale ha la percezione aptica, ovvero ci`o che risulta dal
contatto tra il corpo dellesecutore e il corpo vibrante dello strumento musicale [21].
Recenti ricerche hanno preso in esame le vibrazioni trasmesse allo strumentista da
uno strumento ad arco, dove le corde hanno un contatto diretto con le dita dellesecutore,
rispetto a quelle trasmesse da uno strumento a corde percosse (pianoforte), dove la percezione tattile e` data dallaccoppiamento tra materiali e risposta dinamica dei tasti pi`u la
vibrazione meccanica delle corde
Nel pianoforte la dove le corde hanno un contatto diretto con le dita dellesecutore,
sia per strumenti a corde percosse (pianoforte), dove la percezione tattile e` data dallaccoppiamento tra materiali e risposta dinamica dei tasti pi`u la vibrazione meccanica delle
corde [19, 1].
In particolare, da uno studio pi`u specifico fatto da R.T. Verrillo [17], si evince che
le dita percepiscono vibrazioni in una regione compresa tra i 40 Hz e i 1000 Hz con
punta massima di sensibilit`a ai 250 Hz. Mentre in letteratura la qualit`a di uno strumento
musicale e` data dal suo timbro e dai suoi parametri acustici, per i musicisti la qualit`a di
uno strumento dipende da fattori relativi allinterazione che loro hanno con questultimo
(raggruppati sotto il nome di playability).

Capitolo 1. Introduzione

Galembo e Askenfelt, in un esperimento condotto alla fine degli anni 70, hanno
mostrato che un pianista esperto sa tipicamente distinguere pianoforti diversi suonandoli da bendato, mentre questa abilit`a si perde se il task di riconoscimento e` basato solo
sullascolto del suono, senza il tatto [8].
Ulteriori studi presentati alla conferenza SMC del 2011 [7] mettono in evidenza come
i pianisti preferiscano un suono arricchito da feedback vibrotattile quando viene chiesto
loro di suonare una sequenza precisa di tasti, e prediligano lo strumento originale (in
questo esperimento, un Clavinova YDP-113) nel momento in cui viene loro concessa la
possibilit`a di suonare liberamente.
I risultati ottenuti dagli esperimenti mostrano dunque che il feedback vibrotattile
modifica e migliora lesperienza del pianista.
Esperimenti sempre legati a questo progetto di ricerca condotti precedentemente, hanno evidenziato limportanza di come le vibrazioni vengono percepite dal pianista e come
queste possono aggiungere qualit`a allo strumento [20].
Lesperimento ha fatto uso di setup simili (Figura 1.1), partendo da due pianoforti
Disklavier1 : rispettivamente DC3 M4 a tre quarti di coda e DU1A verticale.

Figura 1.1: Setup dellesperimento condotto da Zanini (Figura tratta da [20])

1
Il Disklavier e` un particolare modello di pianoforte prodotto dalla Yamaha dotato di una modalit`a silent,
funzione particolare in cui ai martelletti non viene permesso di raggiungere le corde, lasciando comunque
inalterata la meccanica della tastiera e permettendo un suo utilizzo come tastiera master MIDI

Capitolo 1. Introduzione

I dati MIDI provenienti dal pianoforte venivano inviati ad una scheda audio RME
Fireface 800 collegata al computer dove veniva eseguito il plugin Pianoteq per la sintesi
per modelli fisici del pianoforte. Prima dellinizio dellesperimento il soggetto indossava
cuffie isolanti; in questo modo, poteva sentire solo il suono prodotto dal sintetizzatore
mentre il suono del Disklavier veniva completamente mascherato.
Gli esiti di questi esperimenti supportano lipotesi che considerevoli informazioni vibratorie vengano trasmesse dal pianoforte allo strumentista attraverso il contatto ditatastiera, specialmente ai tasti del registro grave [6].

1.3

Pianoforti digitali aumentati con feedback aptico

Levoluzione delle tecnologie ed il progresso in campo audio hanno portato alla costruzione di pianoforti digitali o tastiere con una meccanica ed una pesatura dei tasti molto simile
a quella di veri e propri pianoforti acustici; nonostante ci`o, una caratteristica che manca
in questi strumenti e` il feedback aptico2 percepito in un pianoforte acustico, caratteristica
di certo non secondaria.
Nel 1978 presso lACROE (Association pour la Creation et la Recherche sur les Outils dExpression)3 e` stato sviluppato il primo prototipo di tastiera in grado di produrre una
risposta meccanica, introducendo dunque un feedback vibrotattile. Grazie ad un motore
dalle dimensioni simili ad un tasto del pianoforte, veniva trasmessa una forza paragonabile
a quella responsabile della percezione tattile da parte dellesecutore [5].
In seguito sono stati realizzati altri prototipi di tastiere digitali con laggiunta di feedback aptico. Il fine era quello di dimostrare la consistenza delle informazioni ricevute
dallesecutore come vibrazioni.
Nel 1996 Brent Gillespie per la sua tesi di dottorato presso luniversit`a di Stanford ha
realizzato una tastiera digitale ridotta definita Touchback Keyboard e composta da solo 7
tasti; presentava una risposta dinamica molto simile a quella di un pianoforte acustico.
Effettuati numerosi esperimenti, e` stata riscontrata una migliore esperienza performativa
da parte dellesecutore [10].
Al NIME (New Interfaces for Musical Expression)4 del 2002 De Poli ed Oboe hanno
presentato il MIKEY project (Figura 1.2). Qui il tasto e` guidato da un motore a trazione
diretta che trasmette una quantit`a di forza calcolata in tempo reale da simulatori dinamici. Sebbene nella realizzazione del prototipo siano stati utilizzati componenti elettronici
economici, il risultato ottenuto e` molto simile ad un feedback reale di un pianoforte.
2

Aptico, dal greco h`aptoentrare in contatto con

http://acroe.imag.fr/sommaire_en.html/
4
NIME: una delle principali conferenze per la progettazione di nuove interfacce musicali
3

Capitolo 1. Introduzione

Figura 1.2: MIKEY keyboard (Figura tratta da [14])

Successivamente, nello studio di Marshall e Wanderley [13], presentato al NIME del
2006, viene descritto uno strumento capace di riprodurre sia la componente audio che
quella vibratoria.
Il Viblotar ha una struttura che ricorda quella di un monocordo. Il suono e` prodotto
tramite la pressione della mano sulla superficie dello strumento; successivamente viene
diffuso tramite due piccoli altoparlanti che, facendo risuonare il corpo dello strumento,
restituiscono anche la sensazione tattile. I riscontri avuti dai soggetti che hanno avuto la
possibilit`a di suonare questi strumenti sono stati molto positivi.
Tuttavia ci`o non rimane limitato solo allambito della ricerca; anche sul fronte commerciale, numerose aziende stanno investendo nella ricerca e sviluppo di questo importante aspetto con lo scopo di ottenere una tastiera simile a quella di un pianoforte acustico
e rendere lesperienza del pianista ancora pi`u coinvolgente. Lultima serie delle tastiere
CASIO ha tasti costruiti con appositi materiali che simulano linvecchiamento della superficie dei tasti, come accade per quelli in avorio. Inoltre, sta brevettando un sistema
di Hammer Response con lintento di restituire allesecutore la sensazione provata nel
suonare un pianoforte grancoda. Tuttavia, lunico modello attualmente in commercio in
cui sia integrato un sistema che renda vivi i tasti di un pianoforte e` l AvantGrand della Yamaha (Figura 1.3). Questo e` dotato di un sistema chiamato TRS (Tactile Response
System) composto da due trasduttori posizionati nella tavola armonica sotto la tastiera.

Capitolo 1. Introduzione

Figura 1.3: Yamaha AvantGrand

1.4

Sintesi del suono per modelli fisici

La maggior parte dei pianoforti digitali si basa sulla riproduzione di campioni estratti
dalle registrazioni di pianoforti acustici, detta anche modalit`a di multicampionamento. In
questo modo il suono viene ottenuto in funzione della MIDI velocity5 del tasto premuto
con un mixing realizzato tramite filtraggio lineare o dissolvenza incrociata tra i campioni
registrati a diversi livelli dampiezza. Un sistema di questo tipo ha dei limiti in particolare
suonando un accordo (accoppiamento di pi`u note) o in specifiche tecniche esecutive, come
ad esempio il ribattuto.
Nella sintesi del suono basata sui modelli fisici, invece, la forma donda viene generata
da un modello matematico, costituito da un insieme di equazioni e algoritmi che simulano una sorgente sonora rappresentandola in termini di sistema massa-molla-smorzatori.
Lutente ha perci`o un maggior controllo, avendo a disposizione molti tools per produrre
e gestire sia suoni reali che sintetici. Lapproccio basato su modello fisico, a differenza dei metodi costruiti su campioni pre-registrati, come detto in precedenza, permette di
modificare e calibrare un ristretto insieme di parametri per ottenere un suono che modelli
uno specifico timbro. In questo modo, data la struttura generale, si possono ricostruire gli
effetti dei particolari strumenti dai dati fisici che li caratterizzano.
5

MIDI velocity: forza applicata sullo strumento nellatto di suonare; rappresenta volume della nota
MIDI suonata con valori compresi tra 0 e 127.

Capitolo 1. Introduzione

Il primo esempio di sintesi per modelli fisici risale al 1971, presentato da Hiller e Ruiz
[11]. Tuttavia, solo nel 1987 fu presentato da Garnett il primo modello di pianoforte
basato su questo tipo di sintesi, utilizzando la tecnica della guida donda (waveguide6 ).
Uno svantaggio delle tecniche basate su modelli fisici e` lalto costo computazionale,
ragione per cui, a parte sporadici prodotti quali ad esempio il sintetizzatore Yamaha VL-1
o il noto VG-8 Guitar Synth della Roland, non hanno ancora avuto una grande fortuna
commerciale rispetto a strumenti con sintesi basata su campioni preregistrati. La potenza
computazionale offerta dai DSP di ultima generazione ha favorito lo sviluppo di algoritmi
sempre pi`u complessi. Tuttavia, anche dopo diversi anni di sviluppo e ricerca a livello
commerciale, gli strumenti che sfruttano questo tipo di sintesi applicata al pianoforte sono
ancora pochi.
Un software presente al momento sul mercato e` Pianoteq7 presentato da Moddart nel
2006. La ricchezza espressiva e il realismo dei suoi modelli fisici lo rendono migliore di
molte librerie di pianoforte.
Il primo pianoforte digitale basato sulla sintesi a modelli fisici, invece, e` il V-Piano
della Roland, presentato al Namm del 2009. Un altro piano digitale dalle considerevoli
performance, sempre basato sulla tecnologia a modelli fisici, e` il Physis Piano (Figura
1.4) prodotto dalla Viscount International in collaborazione con lUniversit`a di Verona.
6 processori DSP Dual Core in parallelo garantiscono una potenza di calcolo capace di
gestire 5 algoritmi di physical modelling sviluppati per generare la pi`u fedele espressivit`a
sonora possibile [4].

Figura 1.4: Physics Piano H1 prodotto dalla Viscount International Spa

6
Sintesi basata su modelli matematici che formalizzano comportamenti di un particolare sistema di
generazione sonora e le modalit`a con cui le onde generate si propagano attraverso di esso.
7
Pianoteq True Modelling - Modartt S.A.S, http://www.pianoteq.com/

Capitolo 2
Generazione ed elaborazione campioni
In questo capitolo vengono descritti i campioni a disposizione per i test, la loro elaborazione e lutilizzo fatto. Nella Sezione 2.1 verranno presentati i campioni originali e descritta brevemente la fase di acquisizione. Nella Sezione 2.2, invece, verr`a approfondito
e discusso il processo di generazione ed elaborazione dei campioni audio.

2.1

File audio

I file audio a disposizione per lo svolgimento degli esperimenti provengono dai progetti
di tesi di F. Zanini e V. Zanini svolti presso i laboratori del CSC di Padova [20, 21]. I
campioni sono ottenuti dalla registrazione della componente vibratoria misurata sui tasti
del pianoforte Disklavier tramite lutilizzo di un accelerometro.
La catena di acquisizione prevedeva la riproduzione sul sequencer di un file MIDI
che, grazie al collegamento tra la scheda audio e il modulo MIDI del pianoforte, veniva trasferito al Disklavier; questo, attraverso opportuni dispositivi di conversione, che
traducono il segnale MIDI in variazione di tensione, controllava lazionamento dei tasti
mediante un servomotore pilotato da solenoidi, senza nessun tipo di intervento umano.
Questa operazione e` stata effettuata per tutti i tasti del pianoforte con diversi valori di
MIDI velocity.
I valori di velocity sono stati scelti con lintento di coprire lintera dinamica MIDI, con
una differenza costante di 11 tra un valore e laltro.
Il file MIDI responsabile dellesecuzione della nota aveva una durata complessiva di
circa due minuti e cinquanta secondi ed era cos` organizzato: ciascun valore di velocity
MIDI aveva una lunghezza di sedici secondi (tempo stimato oltre il quale la vibrazione
cessa), intervallate da pause di un secondo [21].

Capitolo 2. Generazione ed elaborazione campioni

La registrazione dei valori di accelerazione e` stata realizzata per tutti i tasti del pianoforte (tasti neri compresi),nonostante gli esperimenti precedentemente realizzati da F.
Zanini [20] dimostrino che la componente vibrotattile venga percepita nel registro basso
e medio della tastiera, confermato da precedenti studi di Verrillo [17]. Lobiettivo era
quello di avere a disposizione un banco completo di campioni, utile sia in fase di analisi e
valutazione dei dati raccolti attraverso gli esperimenti, sia per studiare le variazioni delle
vibrazioni al variare della dinamica e della frequenza.
I file sono stati registrati seguendo due modalit`a: la prima in cui le corde erano lasciate
vibrare liberamente, la seconda, invece, in cui venivano stoppate: mentre il pianoforte
riproduceva il file MIDI, si arrestava con un panno morbido la vibrazione delle corde
percosse dal martelletto.
La successiva analisi dei campioni ha evidenziato come si potessero dividere temporalmente in due parti differenti, quella legata alla meccanica del tasto e quella che rappresentava il segnale di vibrazione vero e proprio. Con un metodo in grado di isolare e
limitare la componente meccanica del movimento del tasto, si e` giunti a campionare la
vibrazione vera e propria, quindi il valore di accelerazione in corrispondenza di ciascun
tasto.

Figura 2.1: Inviluppo di un campione audio di vibrazione, nota A1 velocity 100

Capitolo 2. Generazione ed elaborazione campioni

2.2

10

Struttura dello script di generazione

Un approfondimento di questo progetto di tesi e` stato quello di valutare limportanza del

contenuto spettrale dei campioni utilizzati per la trasmissione delle vibrazioni.
Procedendo in maniera empirica, si e` pensato di generare dei nuovi campioni con
una forma donda piuttosto simile ai campioni di partenza, ma con un contenuto spettrale
composto da rumore bianco gaussiano, ovvero un rumore bianco con densit`a spettrale
costante e distribuzione guassiana delle ampiezze.
Per fare questo, e` stato creato uno script in Matlab che in maniera automatica leggesse
e analizzasse tutti i campioni a disposizione registrati in precedenza e, successivamente,
per ciascun campione generasse un nuovo file audio con la forma donda simile a quella
del campione pre-esistente, ma con contenuto completamente diverso.

2.2.1

Dichiarazione delle variabili

La parte iniziale dello script e` composta dalla dichiarazione di tutte le specifiche variabili
necessario per lesecuzione dellalgoritmo.
clear all;
close all;

load BP 20-500.mat %carica filtro passa-banda

note = {C, C#, D, D#, E, F, F#, G, G#,A, A#, B};

% array notes

velocities = {45,56,67,78,89,100,111};
% array velocities

PITCH_FACTOR = nthroot(2,12);

% rapporto semitoni scala equabile

initial_pitch = 27.500;

% pitch A0 in Hz

pitch = initial_pitch/PITCH_FACTOR;

% calcolo progressivo frequenze

cutoff_ottave = 4;
cutoff_pitch = 146.83;
global_count = 0;

Nello specifico:
note: indica un array che contiene i nomi di tutte le note
velocities: indica un array che contiene i valori di velocity presi in considerazione
per lo sviluppo dellalgoritmo

Capitolo 2. Generazione ed elaborazione campioni

11

PITCH FACTOR: indica il rapporto in frequenza che identifica il semitono nella

scala temperata
initial pitch: frequenza di partenza espressa in Hz, che rappresenta la nota A0
(primo tasto del pianoforte digitale)
pitch: indica il calcolo progressivo delle frequenze di ogni nota, secondo il rapporto
della scala equabile, in Hertz
cutoff ottave: numero di ottava oltre la quale non sono stati considerati, quindi
elaborati, i campioni originali allinterno dellalgoritmo
cutoff pitch: variabile utilizzata per formare un fattore di smooth dei campioni
global count: indica un semplice contatore globale che verr`a utilizzato per una
gestione ottimale del ciclo for.
Va specificato che per la generazione dei nuovi campioni, non sono stati utilizzati i campioni originali di tutte le ottave. E risultata evidente la poca intensit`a, e quindi rilevanza,
dei campioni per ottave superiori alla quinta (daccordo con gli studi riguardo la banda
antica gi`a citati nel Capitolo 1). Inoltre, e` emersa anche una discrepanza via via sempre
maggiore tra la forma donda dei campioni di partenza e quella dei campioni generati.

2.2.2

Caricamento e analisi campioni originali

Dopo la dichiarazione di tutte le variabili necessarie per la realizzazione dello script, si

procede con la lettura ed il caricamento in maniera iterativa di tutti i campioni vibratori
disponibili allinterno di un buffer.
Questo processo viene realizzato attraverso una serie di cicli for annidati:
for ottave = 0:5 % totale 7
global_count= global_count + 1;
if (ottave == 0)
init_note = 10;
else init_note = 1;
end
for i=init_note:length(note)
nota=note(i);
pitch= pitch * PITCH_FACTOR;
for j = 1:length(velocities)
velocity = velocities(j);
if ( ottave >= cutoff_ottave )

Capitolo 2. Generazione ed elaborazione campioni

12

reference_file = char(strcat(D,num2str(cutoff_ottave),_,velocity,.wav));
else
reference_file = char(strcat(nota,num2str(ottave),_,velocity,.wav));
end

%carica buffer
[reference, Fs] = audioread(reference_file);

Lindice i e` utilizzato per scorrere larray delle note, mentre lindice j serve per scorrere i valori di MIDI velocity presi in considerazione per la generazione dei campioni
noise.

2.2.3

Prima fase

Di seguito viene presentata la prima parte del codice che si occupa dellelaborazione ed
analisi dei campioni di partenza.
Inizialmente viene calcolata la curva di decadimento del campione di vibrazione reale
caricato attraverso la funzione revtime.m [2], la quale restituisce il valore edc in scala
logaritmica (dB).
Si esegue unopportuna conversione dalla scala logaritmica alla scala lineare per calcolare la lunghezza in campioni del file audio, affinche venga generato un nuovo file audio
della stessa lunghezza.
[Tr,edc]=revtime(reference,Fs,0.01,15); % calcolo curva decadimento

edc = exp(edc);

% conversione scala log-lineare

lung = length(edc);

% calcolo lunghezza campioni

noise = (2*rand([1,lung]) - 1);

% genera rumore bianco gaussiano

2.2.4

Seconda fase

La seconda parte dellalgoritmo e` dedicata allelaborazione dei nuovi campioni audio.

Viene generato un filtro IIR bipolare passa-banda di 2 ordine [16], qui utilizzato come
risonatore elementare con w0 centrato sulla frequenza fondamentale della nota.
Dopodiche si applica un inviluppo dampiezza al campione audio di rumore bianco
moltiplicando il segnale per il valore edc precedentemente calcolato. Infine, si filtrano
entrambi i campioni, sia quelli generati nella prima fase che quelli originali di partenza,

Capitolo 2. Generazione ed elaborazione campioni

13

utilizzando un filtro progettato allinterno dello strumento fdatool di Matlab (Figura 2.2):
il filtro in questione e` un IIR del 2 ordine con banda passante centrata tra i 20 Hz e
i 500 Hz, realizzato in accordo agli studi di Verrillo sulla sensibilit`a e percezione delle
vibrazioni [17, 18].

Figura 2.2: Schema del filtro passa-banda

% filtro frequenza fondamentale campioni

w0 = 2 * pi * pitch / Fs;
r = 0.995;
G = (1-r) * sqrt(1-2*r*cos(2*w0) + r2);
% rumore filtrato con un filtro risonante centrato su frequenza fondamentale
noise_res = filter(G, [1 -2*r*cos(w0) r2], noise);
% filtro risonante con inviluppo in ampiezza
noise_res_am = noise_res .* sqrt(edc);
% filtro passa-banda 20-500 Hz (banda aptica)
noise_res_am_bp = noise_res_am;
reference_bp = reference;
for i = 1:5

Capitolo 2. Generazione ed elaborazione campioni

14

noise_res_am_bp = filter(Gbp(i)*SOSbp(i,1:3),SOSbp(i,4:6),noise_res_am_bp);
reference_bp = filter(Gbp(i)*SOSbp(i,1:3),SOSbp(i,4:6),reference_bp);
end

2.2.5

Fase finale

In questa parte lo script si occupa del calcolo del fattore di normalizzazione energetica,
necessario per poter abbinare i campioni di vibrazione reali con quelli generati nella prima
parte dellalgoritmo.
E importante sottolineare come sia stato necessario calcolare il fattore di normalizzazione per ciascun campione, poiche e` risultata evidente, in fase di scrittura del codice,
uneccessiva variazione di livello tra i campioni.
Successivamente, sapendo che le vibrazioni non vengono pi`u percepite dallesecutore a partire dalla quarta ottava e che i campioni a disposizione diventavano sempre pi`u
rumorosi, si e` deciso di lasciare muti tutti i tasti dalla quarta ottava in su (cutoff octave).
E importante sottolineare come, prima di arrivare al valore soglia oltre il quale inizia il
silenzio, le ampiezze dei campioni vengono attenuate progressivamente attraverso lutilizzo del fattore correction. Una piccola sezione, inoltre, e` dedicata alla rappresentazione
grafica delle due forme donda.
Il grafico e` costituito dalle due forme donda, ciascuna con una propria colorazione per il confronto visivo. In Figura 2.3 abbiamo un esempio di plot, in cui la forma
donda di riferimento del campione audio di partenza (A0 111.wav) ha una colorazione
rossa, mentre la forma donda del campione audio generato partendo dal rumore bianco
(A0 101 127 noise.wav) e` di colore blu.
La parte finale del codice e` dedicata alla costruzione della nomenclatura da utilizzare
per il salvataggio su file dei campioni generati. Il nome dei file e` composto da: nome
della nota, due numeri separati dal simbolo e la stringa noise. Dei due numeri, il
primo indica la MIDI velocity minima mentre il secondo si riferisce a quella massima (ad
esempio A1 57 67 noise.wav). Una corretta nomenclatura e formattazione dei nomi ha
semplificato la costruzione del banco di campioni allinterno del campionatore Kontakt.

Capitolo 2. Generazione ed elaborazione campioni

15

Figura 2.3: Grafico delle due forme donda sovrapposte

% normalizzazione
norm = sqrt(reference_bp(10000:end)*reference_bp(10000:end))/sqrt(noise_res_am_bp...
...(10000:end)*noise_res_am_bp(10000:end));
% smoothing
if (ottave >=cutoff_ottave)
pitch
correction = exp(cutoff_pitch/pitch)/exp(1)
norm = norm * correction;
end

noise_final = noise_res_am * norm;

%grafico
figure(1)
clf
hold off
title(reference_file)
plot(reference, r)
hold on
plot(noise_final)
hold off

Capitolo 2. Generazione ed elaborazione campioni

16

%sintassi nome file

if str2double(velocity) == str2double(velocities(1))
velocity_min = 1;
velocity_max = 45;
elseif str2double(velocity) == str2double(velocities(length(velocities))
velocity_min = 101;
velocity_max = 127; %velocity max
else
velocity_min = str2double(velocity) -10;
velocity_max = str2double(velocity);
end

% salva campioni audio su files

noise_file = char(strcat(nota,num2str(ottave),_,num2str(velocity_min), _,...
...num2str(velocity_max),_noise,.wav));
audiowrite(noise_file,noise_final,Fs);

end
end
end

Capitolo 3
Il setup sperimentale
In questo capitolo ci saranno focus sul campionatore Kontakt (Sezione 3.2), sul trasduttore utilizzato per la trasmissione delle vibrazioni (Sezione 3.3) e sulla tastiera prototipo
(Sezione 3.4) pensata contestualmente a sessioni sperimentali scientifiche. Infine, nella
Sezione 3.5, ci sar`a una breve presentazione dei software utilizzati per la gestione di tutti
gli esperimenti.

3.1

Schema generale

Lapparecchiatura utilizzata per gli esperimenti pu`o essere raggruppata nelle categorie
hardware e software.
Hardware:
pianoforte digitale Viscount Galileo VP-91;
MacBook Pro 15 2.3 GHz Core i7-4850HQ, 8GB RAM;
scheda audio RME Fireface 800, convertitori ADI-8;
amplificatore Yamaha P2700;
cuffie In-Ear Sennheiser CX 300-II;
cuffie anti-rumore 3M Peltor X-Series X5;

17

Capitolo 3. Il setup sperimentale

Software:
OS X 10.10.2;
REAPER v4.75/64bit;
Pure Data Extended 0.42.5;
Modartt Pianoteq 4.5.4;
MeldaProduction EQ MEqualizer;

Figura 3.1: Schema del setup sperimentale

18

Capitolo 3. Il setup sperimentale

19

La catena di simulazione funziona in questo modo: quando viene premuto un tasto del
piano digitale, un messaggio MIDI viene inviato alla scheda audio RME, questo messaggio MIDI viene a sua volta catturato dal sequencer Reaper che lo fa passare per i plugin
di equalizzazione MeldaProduction MEqualizer e per il plugin sampler Kontakt. Il campionatore, quando riceve il segnale MIDI, produce in uscita il campione corrispondente
alla nota premuta per quella specifica MIDI velocity. Il segnale, tramite una connessione
bilanciata, esce dalla scheda audio allamplificatore dove viene amplificata e inviata ai
due attuatori disposti sotto la tastiera.
Mentre agli shaker viene inviato il segnale di vibrazione, a unaltra uscita della scheda
audio viene invece inviato il segnale prodotto dal plugin di sintesi sonora per modelli fisici
Pianoteq, il quale riceve nello stesso modo il segnale MIDI proveniente dalla tastiera.
Il segnale audio generato dal plugin Pianoteq simula il suono del pianoforte e viene ascoltato dal soggetto tramite le cuffie in-ear che indossa per lintera durata dei test.
Il setup prevede un paio di cuffie isolanti per evitare interferenze eccessive nei canali
sensoriali dei soggetti, visto lambiente non anecoico.

3.2

Campionatore

Il campionatore e` uno strumento elettronico in grado di acquisire campioni audio e riprodurli in uscita a diverse altezze. Il software e` interfacciabile mediante vari protocolli
(tipicamente MIDI) ad hardware esterni per la configurazione di uno strumento musicale
virtuale.
Il campionatore utilizzato per la realizzazione dei due banchi di vibrazioni e` il Kontakt 5
(versione 5.4.1.211) della Native Instruments.
In questo studio, il campionamento delle vibrazioni e` stato fatto su ogni tasto del pianoforte con 10 livelli di dinamica. Come spiegato si sar`a sicuramente notato nel capitolo precedente dedicato allo script, particolare attenzione e` stata posta alla sintassi di salvataggio
dei file audio. Questo perche il campionatore Kontakt ha un interessante funzione di auto
map, che permette la costruzione automatica del banco avendo una corretta formattazione
dei nomi dei campioni (Figura 3.2).

Capitolo 3. Il setup sperimentale

20

Figura 3.2: Mapping editor del banco di campioni noise in ambiente Kontakt

3.3

Trasduttore

Il trasduttore e` un apparecchio, solitamente impiegato in sedili per videogiochi e in alcuni

sitemi home theater, capace di convertire lenergia da una forma ad un altra. Nello specifico, un trasduttore come quello scelto per i test crea vibrazioni con elevata impedenza
meccanica ed escursione quasi nulla. Il modello di trasduttore scelto per la costruzione
della tastiera prototipo e` un Clark Synthesis TST239 Silver Transducer (Figura 3.3).

Figura 3.3: Modello di trasduttore scelto per la realizzazione della tastiera prototipo

Capitolo 3. Il setup sperimentale

21

Lattuatore ha una risposta in frequenza tra i 15Hz e i 17000 Hz.

A seguito di precedenti misurazioni svolte da Avanzini e Fontana per valutare la risposta in
frequenza effettiva dellapparecchio [3], e` risultato un comportamento abbastanza lineare
del dispositivo, tranne attorno ai 300 Hz dove e` stato registrato un picco negativo. In
(Figura 3.4) e` rappresentato il grafico risultante.

Figura 3.4: Risposta in frequenza dellattuatore (Figura tratta da [3])

Per il corretto funzionamento di questo trasduttore la casa produttrice raccomanda
lutilizzo di un amplificatore a 4 che sia in grado di erogare una potenza di 75-100
Watts. Quello utilizzato in questo progetto, uno Yamaha P2700, e` capace di erogare una
potenza di 500 W + 500 W nella configurazione stereo con unimpedenza pari a 4 ,
soddisfacendo dunque le indicazioni fornite.

3.4

Tastiera prototipo

Una volta realizzato e correttamente settato il campionatore Kontakt sia nella versione
con i campioni originali sia nella versione con i campioni elaborati, lo scopo prefisso e`
stato quello di riuscire a trasmettere ai tasti del pianoforte digitale queste vibrazioni. Per
raggiungere questo obiettivo si e` passati allo sviluppo di una tastiera prototipo. Partendo
da una tastiera digitale originale (Viscount Galileo VP-91), si e` innanzitutto rimosso il
case originale di metallo, dopodiche la restante struttura metallica dove poggiano tutti i

Capitolo 3. Il setup sperimentale

22

tasti e` stata fissata ad un pannello di compensato dalle dimensioni di 103,1 cm x 29,9

cm x 2,5 cm. Successivamente, sono stati implementati due attuatori avvitandoli al di
sotto della tavola di legno, posizionandoli uno centralmente e laltro in corrispondenza
del registro grave della tastiera (Figura 3.5).

Figura 3.5: Uno dei due trasduttori posizionato al di sotto della tastiera (Figura tratta
da [9])

Figura 3.6: Allestimento setup esperimento

Capitolo 3. Il setup sperimentale

3.5

23

Software per la gestione sperimentale

La gestione degli esperimenti e` stata affidata principalmente a due software:

Pure Data: utilizzato per coordinare i vari task degli esperimenti e raccogliere ed
archiviare i dati;
Reaper: usato per organizzare e gestire tutto il flusso audio e di dati MIDI presente
nei vari test.
Andando nello specifico, Pure Data e` un ambiente di programmazione grafica open source in tempo reale per elaborazione la generazione audio e video. Linterfaccia con cui
lutente comunica e` grafica, quindi non c`e la necessit`a di scrivere del codice in un editor di testo, ma si creano delle patch combinando tra loro diversi tipi di oggetti grafici;
funziona in tempo reale, quindi gli algoritmi sono interattivi ed e` possibile cambiare la
struttura stessa mentre sono attivi.
Pd e` stato scritto nel 1996 da Miller Puckette, lo stesso che a met`a degli anni 80 aveva
sviluppato anche Max/MSP, in seguito diventato software commerciale.
Le principali distribuzioni diffuse e reperibili online sul sito http://puredata.info/
downloads sono: Vanilla e Extended. La prima e` una versione base del software, limitata al processing dei segnali audio e MIDI. La versione Extended, invece, e` una
versione pi`u completa di Pure Data che include molte librerie esterne scritte dalla stessa
comunit`a di sviluppatori che aggiunge molte funzionalit`a al software [15].
Reaper, invece, e` una digital audio workstation (DAW) sviluppata da Cockos, disponibile sia per Windows che Mac, scaricabile dal sito http://www.reaper.fm/
download.php. Integra un ambiente di missaggio ed effettistica di elevata qualit`a, unite ad avanzate funzionalit`a di routing. Unaltra possibilit`a offerta dal programma e` quella
di mappare qualsiasi controller MIDI per ogni tipo di azione, attraverso il men`u action
list, si potr`a controllare lo switch tra le modalit`a silent, vibration, boost vibration e
noise vibration (spiegate nel dettaglio al Capitolo 4).

Capitolo 4
Esperimenti qualitativi
In questo capitolo verranno descritti i due esperimenti qualitativi svolti durante il progetto
di tesi (indicati rispettivamente con le lettere A e B). Verranno descritti ambiente e procedura sperimentale dellesperimento A (Sezione 4.1) e dellesperimento B (Sezione 4.2).
La Sezione 4.3, invece, e` dedicata allanalisi e discussione dei risultati ottenuti.

4.1

Esperimento A

Lo scopo principale dellesperimento A e` stato quello di indagare la qualit`a dello strumento percepita dai soggetti in presenza di vibrazioni o meno.

4.1.1

Procedura sperimentale

Nellesperimento A il soggetto ha come task quello di esplorare, suonando liberamente

e consentendo lutilizzo del pedale, lintera tastiera. Al termine, attraverso linterfaccia
grafica, il soggetto esprime le preferenze verso il setup A o il setup B limitatamente a
quelle che sono gli aspetti richiesti.
Il setup A non prevede nessun tipo di vibrazioni, mentre il setup B implementa diversi
tipi di feedback vibratori. A nessuno dei soggetti vengono spiegati nel dettaglio gli scopi
dellesperimento in modo tale da evitare ogni eventuale influenza.
Al pianista, una volta presa posizione, vengono spiegati sia il funzionamento dellinterfaccia grafica, sia il significato delle cinque attribuzioni in base alle quali dovr`a
confrontare tra A e B:
1. Naturaless: quale setup risulta pi`u naturale;
2. Brightness: in quale dei due setup c`e una maggiore brillantezza, intesa come
ricchezza timbrica;
24

Capitolo 4. Esperimenti qualitativi

25

3. Engagement: quale dei due setup e` pi`u coinvolgente durante il test;

4. Dynamic Control: quale dei due setup riesce ad esprimere in modo migliore unampia dinamica (da pianissimo a fortissimo).
5. General Preference: preferenza generale tra i due setup.
Le prime quattro sono aree piuttosto specifiche e caratterizzanti di uno strumento musicale, mentre lultima area (General preference) e` di carattere piuttosto generale e soggettivo. Ciascun soggetto pu`o passare liberamente ed in maniera del tutto autonoma da
un setup allaltro attraverso un click del mouse.
Lesperimento e` composto da tre parti della durata di 10 minuti ciascuna, per un totale
di 30 minuti. Le tre fasi corrispondono alle tre coppie da confrontare:
1. quality AB.pd;
2. quality AC.pd;
3. quality AD.pd.
Nello specifico, in quality AB.pd il confronto e` tra il setup senza vibrazioni e il
setup di vibrazioni campionate. In quality AC il confronto e` sempre tra setup senza vibrazioni e vibrazioni campionate, ma questultime stavolta hanno un boost di +9db. Nella
patch quality AD.pd, invece, il confronto e` tra il setup senza vibrazioni e il setup di
vibrazioni ottenute partendo dal rumore bianco.
Al termine il computer resta a disposizione del soggetto, affinche possa riportare i
propri giudizi relativi ai test. Ai fini della riuscita dellesperimento e` stato chiesto ai
soggetti di non togliere le cuffie isolanti fino alla conclusione delle valutazioni.

4.1.2

Interfaccia sperimentale

Linterfaccia sperimentale utilizzata per i test e` stata sviluppata in ambiente Pure Data.
Attraverso unattenta organizzazione dellinterfaccia grafica delle patch, si sono resi pi`u
comprensibili i vari task degli esperimenti.
Sebbene abbiano una struttura grafica pressoche uguale, sono tre le patch che gestiscono lesperimento A (necessarie per riuscire a confrontare ciascuna coppia singolarmente):
quality AB.pd, quality AC.pd, quality AD.pd.
I setup vibratori sono caricati allinterno del sequencer Reaper (come gi`a spiegato nel
capitolo 3). La comunicazione tra i due software avviene tramite il protocollo MIDI, per

Capitolo 4. Esperimenti qualitativi

26

Figura 4.1: Patch di Pure Data usata per lesperimento A

mezzo della funzione IAC Driver1 .
Le tre patch di Pd inviano un messaggio MIDI CC (rispettivamente MIDI CC 120, 121,
122), che assume valori di 0 o 127. Questo permette di fare il mute-unmute sul sequencer
della traccia che si sta utilizzando per la sessione sperimentale. Il messaggio di mute
corrisponder`a alla lettera A dello switch presente nella patch, mentre il messaggio di
unmute corrisponder`a alla lettera B (dunque al setup vibratorio da confrontare). Infine,
compongono la patch 5 pannelli distinti di diversa colorazione, che sono:
Naturalness;
Richness of tone;
Engagement;
Dynamic control;
General preference.
1

IAC e` lacronimo di Inter Application Communication e indica di fatto la possibilit`a di creare tante
porte MIDI software virtuali, visibili a livello di sistema operativo, con le quali far comunicare le nostre
applicazioni musicali.

Capitolo 4. Esperimenti qualitativi

27

Questi rappresentano i cinque aspetti ai quali il soggetto deve porre attenzione durante
la sessione sperimentale.
Ciascun pannello contiene uno slider che pu`o assumere un valore che va da un minimo
di -3 ad un massimo di +3. I valori positivi indicano che il setup B e` per quel particolare
parametro migliore rispetto al setup A. Viceversa, valori negativi indicano il setup A come
migliore in quel particolare aspetto. Un valore pari a 0 invece, corrisponde ad una totale
uguaglianza dei due setup, o comunque nessuna preferenza specifica.

4.2

Esperimento B

Lobiettivo di questo secondo esperimento e` di comprendere se, con laggiunta di feedback vibrotattile, il modo di suonare dei soggetti cambi.

4.2.1

Procedura sperimentale

E importante sottolineare come in questo esperimento B per le situazioni con aggiunta di

feedback vibrotattile, vengano utilizzate solamente le vibrazioni reali campionate, quindi senza boost e neppure vibrazioni artificiali. Questa scelta e` stata fatta appositamente
per notare eventuali condizionamenti o cambiamenti nelleseguire la scala da parte del
soggetto passando dalla condizione di vibrazioni reali a quella senza vibrazioni. Il task
richiesto al soggetto nellesperimento B e` di eseguire sulla tastiera una scala di Re maggiore2 (ascendente/discendente), partendo dal Re2(midipitch 38) lungo tre ottave (fino a
Re5).
La scala deve essere suonata ad una sola mano (preferibilmente destra), senza lutilizzo del pedale e ponendo attenzione a due aspetti:
dinamica: pp/mf/ff
tempo: il soggetto sar`a vincolato al metronomo impostato a 120 bpm. Eseguir`a una
nota al secondo.
E stata scelta volutamente unindicazione temporale piuttosto lenta, in modo tale da
permettere una maggiore accuratezza da parte del soggetto al rispetto dellindicazione
dinamica.
Il numero delle scale registrate da ciascun soggetto saranno 18, risultato della combinazione di 3 variabili:
2

La scelta della scala e` stata fatta in maniera da poter svolgere lindagine anche sui tasti neri del
pianoforte

Capitolo 4. Esperimenti qualitativi

28

1. vibrazione realistica on/off (2x)

2. dinamica pp, mf, ff (3x)
3. ripetizioni (3x)
Mentre il soggetto effettua la sua performance, note on-off e velocity sono registrati
da un sequencer MIDI.

4.2.2

Interfaccia sperimentale

Per quanto riguarda lesperimento B, e` la patch MIDI recording exp.pd (Figura 4.2) a
gestire lintera sessione di test e registrazioni.

Figura 4.2: Patch di Pure Data usata per lesperimento B

Linterfaccia grafica della patch e` suddivisa principalmente in due parti. La parte pi`u
in basso rappresenta il metronomo, composto da:
tasto on-off,
slider che regola il volume del click in cuffia;

Capitolo 4. Esperimenti qualitativi

29

slider che regola la velocit`a del metronomo (settato a 120 bpm);

grande rettangolo grigio che rappresenta una sorta di led che si illumina di rosso ad
ogni beat;
La parte superiore, invece, si occupa della lettura delle playlist. Per ciascun soggetto,
infatti, e` stata creata una specifica playlist in formato .txt che per ogni riga riporta tre
valori in diversi range [1 3], [0 1], [1 3]. Il primo valore corrisponde allindicazione
dinamica che di volta in volta viene richiesta al soggetto (1 = pp, 2 = mf, 3 = ff) per
mezzo dellinterfaccia. Il secondo parametro indica se la vibrazione realistica, ovvero
quella campionata, e` presente o no (1 = ON, 0 = OFF). Il terzo ed ultimo valore indica il
numero delle ripetizioni (ne sono previste 3 per questo esperimento).

Figura 4.3: Esempio di playlist del soggetto 1

Le restanti due piccole aree della patch sono destinate alla gestione della registrazione
e del salvataggio delle scale allinterno del computer nel formato .mid e con una sintassi
specifica (per esempio: scaleD 2 ff 0 1.mid).

30

Capitolo 4. Esperimenti qualitativi

4.3

Risultati

Al primo esperimento qualitativo (A) hanno partecipato 11 soggetti (6 uomini e 5 donne)

con et`a media di 27 anni circa. Tutti i soggetti hanno dimostrato unelevata padronanza
dello strumento ed hanno indicato un utilizzo pi`u frequente di pianoforti acustici, solamente 3 soggetti pianoforti digitali. Diversi sono stati i metodi di esplorazione scelti da
ciascun pianista per ricercare le differenze qualitative tra i vari setup: alcuni hanno preferito confrontare i setup attraverso esercizi tecnici, piccole improvvisazioni e semplici
accordi; altri, invece, hanno suonato parti di brani a memoria o con laiuto della partitura.
Il tempo utilizzato dai soggetti per lindagine non si e` discostato troppo da quello previsto.
Inoltre, nessuno dei soggetti ha avuto dubbi o incertezze nellesprimere i giudizi riguardo
i precisi parametri richiesti.
In Figura 4.4 sono mostrati i giudizi di qualit`a espressi da tutti gli 11 soggetti durante
lesperimento A.

Quality ratings

Digital piano

vibes
B
C

0.5

0.5
dynamic.controlengagement

richness

naturalness

preference

Rating scale

Figura 4.4: Risultati esperimento A

Ad una prima analisi, e` evidente una generale preferenza per i due setup con implementazione di vibrazioni (C e D). Andando pi`u nello specifico, lanalisi statistica rende
difficile estrapolare la ragione per cui si preferisca un certo tipo di vibrazioni piuttosto
che un altro.
non emerge una differenza statisticamente significativa tra i diversi tipi di vibrazioni:
questo suggerisce che in una tastiera digitale e` sufficiente la presenza di vibrazioni, ma
non importa quanto queste siano realistiche.

31

Capitolo 4. Esperimenti qualitativi

Relativamente alle 4 aree specifiche, e` interessante osservare inoltre come le vibrazioni influiscano soprattutto sul controllo della dinamica (dynamic.control).
Successivamente, a causa delle grandi differenze nelle valutazioni, i soggetti sono stati
divisi in due gruppi in base al loro giudizio riguardo il parametro preference utilizzando
un semplice k-means3 classificatore. Il risultato e` che circa due terzi dei soggetti (7) sono
nel gruppo positivo e solo un terzo nel gruppo negativo (4). Analizzando nel dettaglio
i dati del gruppo positivo (Figura 4.5) si nota che, generalmente, il setup D (campioni
elaborati) e` quello meno preferito rispetto agli altri. E il setup C (vibrazioni reali con
aumento di +9 dB), invece, ad essere preferito al setup B (vibrazioni reali).
Digital piano, positive group

Quality ratings

vibration
B
C
D
0.5

dynamic.controlengagement

richness

naturalness

preference

Rating scale

Figura 4.5: Risultati esperimento A - gruppo positivo

Al secondo esperimento qualitativo (B), invece, hanno preso parte 8 soggetti (5 uomini
e 3 donne), con et`a media di 24 anni. Lipotesi era che, in presenza di vibrazioni, il
modo di suonare dei soggetti fosse variato. Le medie dei valori di velocity dei tasti,
per ciascuna delle tre indicazioni dinamiche, sono rappresentate in Figura 4.7 In questo
caso, analizzando i risultati ottenuti, non si notano differenze significative tra i due setup.
I soggetti sono stati molto precisi nella velocity in tutte le dinamiche. E importante
sottolineare come nel mezzo-forte (mf) e nel pianissimo (pp) i valori di velocity MIDI
registrati con feedback vibratorio attivo sono pi`u bassi rispetto a quelli registrati senza:
probabilmente la presenza di vibrazioni d`a unimpressione complessiva di dinamica pi`u
elevata e quindi i pianisti sono portati a suonare con dinamiche ridotte.
3

algoritmo di clustering partizionale che permette di suddividere un insieme di oggetti in K gruppi sulla
base dei loro attributi.

32

Capitolo 4. Esperimenti qualitativi

Digital piano, negative group

Quality ratings

0.5
vibration
0
B
C

0.5

D
1

1.5

dynamic.controlengagement

richness

naturalness

preference

Rating scale

Figura 4.6: Risultati esperimento A - gruppo negativo

Pi`u in generale, i risultati di entrambi gli esperimenti dimostrano che la riproduzione
artificiale di vibrazioni su di una tastiera digitale e` apprezzata dai pianisti, poiche abituati
a percepirle in pianoforti acustici.
Laggiunta della sensazione tattile sembrerebbe quindi influenzare sia la performance
quanto la percezione di qualit`a dello strumento stesso.

125

Subjects 18, whole scale

Velocity

100
75

vibes
0
1

50
25
0
ff

mf
dynamic

pp

Figura 4.7: Risultati esperimento B

Capitolo 5
Conclusioni e sviluppi futuri
Lo scopo principale di questo progetto di tesi, era quello di individuare in che maniera
linformazione vibrotattile influisca sulla percezione qualitativa di una tastiera digitale
e se laggiunta di feedback aptico condizioni o modifichi la performance del pianista;
inoltre, valutare limportanza del contenuto spettrale dei campioni utilizzati per rendere
pi`u efficace la trasmissione delle vibrazioni.
Lattivit`a svolta ha portato in un primo momento allanalisi dei campioni vibratori
acquisiti. In seguito, e` stato elaborato uno script in Matlab con lobiettivo di automatizzare la procedura per lelaborazione dei campioni originali e la generazione di nuovi
file audio con contenuto spettrale costituito da rumore bianco. Opportunamente elaborati,
i file audio generati, sono stati inseriti allinterno di un campionatore e si e` passati alla
calibrazione e messa a punto del sistema. Una volta configurati i banchi allinterno del
campionatore, sia nella versione con i campioni originali sia nella versione con i campioni elaborati, si e` giunti a prototipale una tastiera aumentata con feedback aptico. E stato
rimosso linvolucro della tastiera e la struttura metallica dove la tastiera del pianoforte digitale era appoggiata, e` stata fissata su una tavola di legno; al di sotto di questa sono stati
avvitati gli attuatori in grado di trasmettere alla tavola i diversi tipi di segnali vibratori
provenienti dal campionatore.
Nonostante i risultati non possano essere statisticamente significativi, a causa dello
scarso numero di soggetti (gli esperimenti sono tuttora in corso), la preferenza espressa
dalla maggior parte dei soggetti tende verso i setup con la presenza di vibrazioni, confermando dunque come la percezione della componente vibratorie sia gradita da parte del
pianista, poiche abituato a percepirla nella versione acustica dello strumento (esperimento
A); tuttavia, la presenza di feedback aptico non sembrerebbe influenzare particolarmente
la performance dellesecutore (esperimento B).
Ad unanalisi pi`u dettagliata dei dati sperimentali, non e` emersa una differenza signifi-

33

Capitolo 5. Conclusioni e sviluppi futuri

34

cativa tra i diversi tipi di vibrazioni: questo potrebbe suggerire che in una tastiera digitale
e` sufficiente la presenza di una componente vibratoria, ma non importa quanto questa sia
realistica.
Sviluppi futuri potrebbero riguardare la realizzazione di esperimenti qualitativi pi`u
approfonditi: invece che scale, richiedere lesecuzione di accordi lunghi, situazione in cui
la vibrazione e` maggiormente percepibile da parte del pianista. Dal punto di vista della
catena di simulazione, sarebbe opportuno indagare in maniera pi`u approfondita laspetto
della trasmissione meccanica della vibrazione.
Pi`u a lungo termine, invece, lidea di realizzare un modello fisico capace di sintetizzare in tempo reale sia il suono del pianoforte che la componente vibrotattile.
Laggiunta della sensazione vibrotattile in un tastiera digitale, simile a quella di un
pianoforte acustico, potrebbe sicuramente essere un fattore molto importante per la realizzazione di soluzioni digitali che, accompagnate da una fedele riproduzione del suono,
potrebbero avere diversi vantaggi economici e pratici rispetto ad un pianoforte acustico.
In conclusione, e` evidente che la presenza e la percezione delle vibrazioni viene tradotta dai pianisti come un fattore che va a migliorare la qualit`a generale dello strumento
musicale.

Appendici

35

Appendice A
Codice
A.1

Script Utilizzati

Codice usato per lelaborazione dei segnali audio: vibration noise

clear all;
close all;
load BP 20-500.mat %carica band-pass filter
note = {C, C#, D, D#, E, F, F#, G, G#,A, A#, B};
velocities = {45,56,67,78,89,100,111};
PITCH_FACTOR = nthroot(2,12);
initial_pitch = 27.500;
pitch = initial_pitch/PITCH_FACTOR;
cutoff_ottave = 4;
cutoff_pitch = 146.83;
global_count = 0;
for ottave = 0:5 % totale 7
global_count= global_count + 1;
if (ottave == 0)
init_note = 10;
else init_note = 1;
end
for i=init_note:length(note)
nota=note(i);
pitch= pitch * PITCH_FACTOR;
for j = 1:length(velocities)
velocity = velocities(j);
if ( ottave >= cutoff_ottave )
reference_file = char(strcat(D,num2str(cutoff_ottave),_,velocity,.wav));

36

37

Capitolo A. Codice

else
reference_file = char(strcat(nota,num2str(ottave),_,velocity,.wav));
end
%carica buffer
[reference, Fs] = audioread(reference_file);

%%

PRIMA PARTE

[Tr,edc]=revtime(reference,Fs,0.01,15); % calcolo curva decadimento

edc = exp(edc);

% conversione scala log-lineare

lung = length(edc);

% calcolo lunghezza campioni

noise = (2*rand([1,lung]) - 1);

% genera rumore bianco gaussiano

%%

SECONDA PARTE

% filtro frequenza fondamentale campioni

w0 = 2 * pi * pitch / Fs;
r = 0.995;
G = (1-r) * sqrt(1-2*r*cos(2*w0) + r2);
% rumore filtrato con un filtro risonante centrato su frequenza fondamentale
noise_res = filter(G, [1 -2*r*cos(w0) r2], noise);
% filtro risonante con inviluppo in ampiezza
noise_res_am = noise_res .* sqrt(edc);
% filtro passa-banda 20-500 Hz (banda aptica)
noise_res_am_bp = noise_res_am;
reference_bp = reference;
for i = 1:5
noise_res_am_bp = filter(Gbp(i)*SOSbp(i,1:3),SOSbp(i,4:6),noise_res_am_bp);
reference_bp = filter(Gbp(i)*SOSbp(i,1:3),SOSbp(i,4:6),reference_bp);
end

%%

PARTE FINALE

Capitolo A. Codice

38

% normalizzazione
norm = sqrt(reference_bp(10000:end)*reference_bp(10000:end))/sqrt...
...(noise_res_am_bp(10000:end)*noise_res_am_bp(10000:end));
% smoothing
if (ottave >=cutoff_ottave)
pitch
correction = exp(cutoff_pitch/pitch)/exp(1)
norm = norm * correction;
end
noise_final = noise_res_am * norm;
%grafico
figure(1)
clf
hold off
title(reference_file)
plot(reference, r)
hold on
plot(noise_final)
hold off

%sintassi nome file

if str2double(velocity) == str2double(velocities(1))
velocity_min = 1;
velocity_max = 45;
elseif str2double(velocity) == str2double(velocities(length(velocities))
velocity_min = 101;
velocity_max = 127; %velocity max
else
velocity_min = str2double(velocity) -10;
velocity_max = str2double(velocity);
end
% salva campioni audio su files
noise_file = char(strcat(nota,num2str(ottave),_,num2str(velocity_min),...
..._,num2str(velocity_max),_noise,.wav));
audiowrite(noise_file,noise_final,Fs);

Capitolo A. Codice

39

end
end
end

Funzione revtime
function [Tr,edc] = revtime(rir,Fs,ti,tf)
rir = rir(round(ti*Fs):round(tf*Fs));
edc = 10*log10(fliplr(cumsum(fliplr(rir.2)))); % calcola curva decadimento
edc = edc-max(edc);
% normalizza a 0 dB
c = polyfit(1:round(length(edc)/2),edc(1:round(length(edc)/2)),1);
Tr = (-60-c(2))/(c(1)*Fs);

Bibliografia
[1] Anders Askenfelt and Erik V Jansson. On vibration sensation and finger touch in
stringed instrument playing. Music Perception, 9(3):311350, 1992.
[2] Federico Avanzini. Algorithms for sound and music computing, December 2009.
[3] Balazs Bank. Analysis of the measurements made by Federico Avanzini and Federico Fontana. Viscount keyboard on a wooden panel, Clark Synthesis shakers.
Technical report, Centro di Sonologia Computazionale, Padova, July 2013.
[4] Bal`azs Bank, Stefano Zambon, and Federico Fontana. A modal-based real-time
piano synthesizer. IEEE Transactions on Audio, Speech and Language Processing,
18(04):809821, May 2010.
[5] C. Cadoz, L. Lisowski, and J.-L. Florens. A modular feedback keyboard design.
Comput. Music J., 14(2):4751, 1990.
[6] Federico Fontana, Federico Avanzini, Stefano Papetti, Hanna Jarvelainen, Francesco
Zanini, and Valerio Zanini. Perception of interactive vibrotactile cues on the acoustic
grand and upright piano. In Proc. Int. Conf. Sound and Music Computing (SMC),
pages 16. Padova, Italy, 2014.
[7] Federico Fontana, Marco Civolani, Stefano Papetti, Valentina del Bello, and Bal`azs
Bank. An exploration on the influence of vibrotactile cues during digital piano
playing. In Proc. Int. Conf. Sound and Music Computing (SMC), pages 16. Padova,
Italy, 2011.
[8] Alexander Galembo and Anders Askenfelt. Quality assessment of musical instruments - effects of multimodality. In Proc. 5th Triennial Conf. of the European
Society for the Cognitive Sciences of Music (ESCOM5), pages 441444. Hanover
University of Music and Drama, Germany, 8-13 September 2003.
[9] Andrea Ghirotto. Elaborazione numerica di segnali per la realizzazione di feedback
vibrotattile su un pianoforte digitale. Tesi di laurea triennale, September 2014.
40

BIBLIOGRAFIA

41

[10] R. B. Gillespie. Haptic Display of Systems with Changing Kinematic Constraints:

The Virtual Piano Action. PhD thesis, Stanford University, January 1996.
[11] L. Hiller and P. Ruiz. Synthesizing musical sounds by solving the wave equation for
vibrating objects: Part 1,. J. Audio Eng. Soc., 19(6):462470, 1971.
[12] R.L. Klatzky and S.J. Lederman. Touch (Pre-pubblication). 2002.
[13] Mark T. Marshall and Marcelo M. Wanderley. Vibrotactile feedback in digital musical instruments. In Proc. Int. Conf. on New Interfaces for Musical Expression
(NIME), pages 226229. Paris, France, 2006.
[14] Roberto Oboe and Giovanni De Poli. Multi-instrument virtual keyboard the mikey
project. In Proc. Int. Conf. New Interfaces for Musical Expression (NIME). Dublin,
Ireland, 24-26 May 2002.
[15] Miller Puckette. Max at seventeen. In Computer Music Journal, volume 24, page 4,
2002.
[16] Davide Rocchesso. Introduction to sound processing.
[17] R. T. Verillo. Vibration sensing in humans. Music Perception, 9(3):281302, 1991.
[18] Ronal T. Verrillo. Vibrotactile thresholds measured at the finger. Perception &
Psychophysics, 9(4):329330, July 1971.
[19] I. Wollman, C. Fritz, and J. Frelat. Vibrotactile feedback in the left hand of violinists.
In In Proc. Acoustics 2012 Nantes Conf., S. F. dAcoustique, Ed., Nantes, France,
pages 3605 3610, April 2012.
[20] Francesco Zanini. Percezione vibrotattile nel pianoforte: analisi e valutazioni
qualitative. Tesi di laurea triennale, April 2014.
[21] Valerio Zanini. La tastiera attuata: analisi e simulazione dellinformazione
vibrotattile nel pianoforte. Tesi di laurea triennale, April 2014.