airMIDI 1.

0
1. descrizione

airMIDI è un controller MIDI con una interfaccia utente basata su tecniche di computer
vision.
La versione 1.0 crea una griglia virtuale di 1m x 1m di fronte alla telecamera; l'utente
genera segnali MIDI inserendo e muovendo le mani (o qualsiasi oggetto/parte del corpo)
in quest'area.

2. requisiti di sistema

Sistema Operativo: OSX 10.8 o superiore

Telecamera: Kinect v1

Si raccomanda un computer recente, con una CPU e una scheda grafica adatti alla
gestione di applicazioni multimediali: airMIDI non è particolarmente avido di risorse, ma
utilizza algoritmi che fanno un uso significativo di CPU e GPU, in modo simile a quanto
fanno molti plugins audio con i quali probabilmente si troverà a convivere.

3. setup
3.1 Collocare il kinect in modo stabile nella posizione desiderata. La griglia interattiva è
sempre un quadrato di 1m x 1m collocato sul prolungamento della linea visiva dell'ottica
della telecamera. Assicurarsi che l'area della griglia sia sgombra (qualsiasi oggetto in
quest'area attiverà la griglia). Le due immagini sottostanti mostrano esempi di un setup
verticale e di uno orizzontale.

3.2 Collegare il kinect all'alimentazione e a una porta USB del computer.

3.3 Avviare il software.

4. Utilizzo

airMIDI ha due schermate:

- la schermata Performance, utilizzata per suonare effettivamente lo strumento
- schermata Node Editor, nella quale è possibile configurare le note inviate.
4.1 Schermata Performance

Segue una descrizione di tutti i moduli e le funzioni di questa schermata.

4.1.1 3D view
Una ricostruzione 3D della griglia e di quanto rilevato dal kinect.
Le linee gialle rappresentano il cono visivo della telecamera.
L'area bianca della griglia rappresenta le aree inattive.
Muovendo una mano (o qualsiasi altra cosa) nell'area della griglia, si attiveranno cubi rossi
e gialli: i cubi gialli sono le aree in cui ci si è avvicinati alla griglia senza ancora toccarla,
mentre i cubi rossi sono le aree di attivazione effettiva.

Cubi gialli e rossi sono uno strumento visivo immediato per controllare sia la propria
performance, sia che non ci siano oggetti estranei nell'area della griglia.

I cubi gialli e rossi sono anche alla base del controllo della velocity: controllando l'area di
pre-attivazione gialla, airMIDI esegue una stima della velocità con la quale si entra
nell'area della griglia e traduce questo dato in un valore di velocity sia sugli eventi noteOn
che sugli eventi noteOff.

4.1.2 depth view

L'immagine di profondità acquisita dal kinect: colori più chiari indicano oggetti più vicini.
Utile per verificare il corretto allineamento della telecamera e per identificare eventuali
elementi di disturbo: se ad esempio ci fossero immagini dai controrni troppo frastagliati e/o
macchie nere senza riscontro con quanto inquadrato nel mondo reale, andrebbero
ricercate fondi di inquinamento infrarosso. Le più comuni sono: specchi/superfici riflettenti,
la luce solare, lampade speciali.
4.1.3 MIDI gui
Pannello di controllo per i principali parametri MIDI:

- Save: salva la configurazione corrente su file

- Load: ricarica l'ultima configurazione salvata

- port name: il nome della porta MIDI virtuale come viene visualizzato dagli altri software
(default: airMIDI)

- chan: usare i tasti a freccia per cambiare il canale MIDI

- program: usare i tasti a freccia per cambiare il program MIDI

4.1.4 pads view

Una semplice visializzazione 2D dei singoli pads di cui è composta la griglia. Si colorano
quando attivi.

4.1.5 interaction gui

Pannello di controllo per i parametri interattivi:

- notes: se attivo, associa una nota a ogni pad. All'attivazione del pad viene inviato un
evento noteON; quando il pad si disattiva viene inviato un evento noteOff. La velocity
viene calcolata come descritto nel paragrafo 4.1.1. La configurazione delle note è spiegata
nel paragrafo 4.2.

- bend: assegna il parametro MIDI bend pitch. Clickando sul tasto, parametro assume 3
possibili valori:
- disabled: parametro disattivato
- X: il parametro è mappato sul maggior valore orizzontale della griglia (come in un
Korg Kaoss Pad)
- Y: il parametro è mappato sul maggior valore verticale della griglia

- after: assegna il parametro MIDI aftertouch. Funziona allo stesso modo del bend.

- CC 1 e CC 2: assegnano due parametri MIDI CC. Il funzionamento è analogo ai controlli

precedenti, con la differenza che, per ogni CC, è necessario specificare anche il
paramentro control di riferimento, utilizzando i tasti a freccia.

- edit notes: premendo questo tasto si accede alla schermata Note Editor.
4.2 Schermata Note Editor

Questa schermata fornisce un modo interattivo per mappare un set di note sui pads.
In questa schermata la pads view mostra un numero al centro di ogni pad: questo numero
è la nota MIDI ad esso associata (vedi immagine sottostante per la lista completa).

4.2.1 Editare un singolo pad

Facendo click con il pulsante sinistro del mouse su un pad, la nota viene incrementata di
un semitono.
Facendo click con il pulsante destro (o facendo shift click se il tasto destro non fosse
disponibile), la nota viene abbassata di un semitono.
4.2.2 Reload e Save
Usando i tasti reload notes e save notes è possibile caricare e salvare queste mappature
dal e sul file data/xml/notes.xml. Se si preferisce, è possibile editare il file direttamente
con un editor di testo.

4.2.3 Octave down/up

I tasti oct down e oct up shiftano l'intera griglia di una ottava.

4.2.4 Language
Il tasto language cambia la notazione della griglia da anglossasone a italiana e viceversa.

4.2.5 Scale
Il pannello delle scale è compost da 3 elementi:
• il selettore della scala con i relativi tasti freccia
• il selettore della chiave con i relativi tasti freccia
• il tasto apply

Per applicare una scala alla griglia basta selezionare un tipo di scala, una chiave e
premere il tasto apply: il primo tasto della griglia viene impostato sulla chiave prescelta
nell'ottava corrente e le altre note vengono calcolate di conseguenza.

Se il selettore della chiave viene impostato sul simbolo “-” la chiave viene selezionata
automaticamente utilizzando l'attuale valore del primo tasto della griglia.

Le scale disponibili sono salvate nella cartella airMIDI/data/scales/ sotto forma di files
XML, modficabili con un semplice editor di testo. Per creare una nuova scala basta creare
un nuovo file XML in questa cartella e editarlo secondo questo schema:

<scale>
<name>chromatic</name>
<steps>1,1,1,1,1,1,1,1,1,1,1,1</steps>
</scale>

Il tag <name> assegna un nome alla scala, mentre il tag <steps> definisce il numero e gli
intervalli in semitoni da applicare, sotto forma di un elenco di numeri interi separati dalla
virgola.

4.3.5 Back
Con il tasto back si ritorna alla schermata Performance.