Lezione 10: Suono (3)

Informatica Multimediale Docente: Umberto Castellani

Sommario
Introduzione al suono Rappresentazione del suono Elaborazione digitale

Standard MIDI Sintesi del suono

Aspetti avanzati:

Spazializzazione del suono Parlato (Speech)

Rappresentazione musicale: il MIDI

Informazione musicale Livelli di rappresentazione Differenza tra audio e musica Introduzione al MIDI Principi di definizione Tipi di informazione

Musica e informazione
Rappresentazione del suono in quanto musica Qualsiasi scambio di informazioni richiede che si definisca una qualche forma di linguaggio attraverso il quale realizzare la comunicazione Una volta che linformazione ha assunto una forma precisa, possibile, oltre allo scambio, anche la trasformazione/manipolazione Serve un linguaggio per la rappresentazione dellinformazione

Informazione musicale
Nel caso della musica occorre scambiare linformazione musicale definendo un codice o linguaggio musicale Gi con la digitalizzazione del suono si ottiene una codifica, ora si vuole andare verso una semantica del suono musicale occorre selezionare quali aspetti della musica (tipi di informazione) debbano essere rappresentabili dal linguaggio Una volta stabilito un codice per la rappresentazione della musica possibile effettuarne anche la trasformazione/manipolazione

Es: data una sequenza di note farne la trasposizione armonica di un tono

Livelli di rappresentazione
La rappresentazione della musica avviene a diversi livelli. Ogni forma di rappresentazione della musica deve collocarsi al livello adatto allo scopo

Es: il suono (la performance) prodotto da un clarinettista non pu essere determinato solo dallo spartito Livello fisico Livello percettivo Livello operativo Livello strutturale

In particolare i livelli di rappresentazione sono:

Suono di basso eseguito con tecniche diverse

Livelli di rappresentazione (II)

Livello fisico: i parametri pertinenti per la rappresentazione sono quelli propri della descrizione fisica del segnale (ampiezza, frequenza, tempo, forma donda/spettro) Livello percettivo: il livello soggiacente alle descrizioni psicoacustiche nelle quali le dimensioni pertinenti sono quelle percepite (volume, altezza, durata, timbro)

A questo livello si fa spesso uso di diagrammi di rappresentazione

Livelli di rappresentazione
Livello operativo: la musica viene rappresentata in termini di istruzioni esecutive.

Es: prescrizioni gestuali/strumentali o sistemi di intavolatura

Livello simbolico: ne un esempio la rappresentazione classica della notazione musicale occidentale (lo spartito) Livello strutturale: rappresenta le relazioni logiche che presiedono alla produzione/comprensione della musica

Es: come insieme di una grammatica generativa

Interazione tra livelli

Nellambito musicale intervegono i seguenti soggetti: ambiente, ascoltatore, compositore, esecutore, strumento Le competenze strutturali del compositore (livello strutturale) necessitano della mediazione della notazione (livello simbolico) per essere trasmesse allesecutore. Questi traduce la notazione in un insieme di controlli gestuali che governano lesecuzione strumentale (livello operativo). Attraverso lo strumento le operazioni gestuali si trasformano in pressione sonora (livello fisico) che costituisce il correlato acustico del campo fenomenico dellascoltatore (livello percettivo)

Come interviene il Calcolatore

Nellelaborazione del segnale audio: la rappresentazione digitale interessa il rapporto tra esecutore (livello operativo) e ambiente (livello fisico). Nellelaborazione della musica:

Si vuole comporre sequenze musicali (livello simbolico) che affidiamo, tradotte in notazione, al calcolatore perch le esegua (livello operativo) Si vuole eseguire una sequenza (livello operativo) aspettandoci che il calcolatore fornisca una rappresentazione musicale dei controlli strumentali che riceve in input (livello simbolico)

Operazioni del Calcolatore

La rappresentazione o linguaggio musicale deve rendere possibili alcune operazioni tipiche: Assegnare uno strumento ad un brano Modificare il tempo di esecuzione Definire landamento dinamico Gestire pi livelli di informazioni autonomi Trasporre una parte verso lacuto o verso il grave Etc.

Il MIDI
Il MIDI (Musical Instrument Digital Interface) il protocollo standard per la comunicazione tra dispositivi musicali Un protocollo un insieme di regole che stabilisce attraverso quali modalit deve avvenire la comunicazione tra dispositivi hardware o processi software differenti Alla base del MIDI c la necessit di far comunicare sintetizzatori musicali diversi

MIDI e livelli di rappresentazione

Il MIDI si colloca sia a livello simbolico e sia a livello operativo Attraverso il MIDI possibile rappresentare come dati elettronici una performance musicale (n.b., non la forma donda del segnale audio) Linformazione codificata dal protocollo consiste in uninsieme di istruzioni per un sintetizzatore che sulla base dei dati ricevuti, si occupa della sintesi audio Il MIDI permette LI/O tra dispositivi diversi

Comunicazione MIDI: esempio

1) Eseguiamo un brano sul un dispositivo di input MIDI (es. la tastiera) 2) I dati esecutivi (quali tasti sono stati premuti, con quanta forza, per quanto tempo) vengono convertiti in forma MIDI 3) I dati MIDI vengono trasmessi, attraverso una connessione hardware dedicata 4) I dati MIDI vengono decodificati da un altro dispositivo MIDI (es. un sintetizzatore) che genera il segnale audio

MIDI e sequencer
Se i dati MIDI vengono memorizzati, possono essere modificati attraverso procedure di editing Si chiama Sequencer un sistema (dispositivo fisico o software per un calcolatore generico) di registrazione e di esecuzione dotato di una memoria programmabile nella quale vengono memorizzati i dati di controllo operativo alla (ri-)generazione di eventi musicali Il sequencer memorizza i dati da un dispositivo di input (un sintetizzatore ma anche la tastiera del computer), ne consente lediting e (ri)-crea la performance inviando i dati al dispositivo di esecuzione (un sintetizzatore ma anche la scheda audio del computer)

Dati musicali e sintesi audio

La distinzione tra dati musicali e sintesi audio impone come limite che il controllo sul suono sia soltanto indiretto La qualit timbrica del suono dipende solo dal dispositivo di esecuzione (il modulo di sintesi audio)

La situazione analoga al compositore di musica: una partitura fornisce delle istruzioni per gli esecutori, ma la sintesi (generazione) del suono dipende dei gesti degli esecutori stessi e dalla qualit degli strumenti usati

MIDI: tipi di informazioni

Canali: i messaggi MIDI vengono indirizzati attraverso specifiche strade. I canali sono indirizzi dai quali i dati musicali possono essere ricevuti e ai quali possono essere inviati. In questo modo si differenziano i timbri del suono associando ad un canale un determinato suono (es. uno strumento) Tracce: un flusso strutturato e autonomo di messaggi MIDI

es. brano per due pianoforti, o melodia e accompagnamento In genere si associa una traccia ad un canale Il sequencer si comporta come un mixer

MIDI: tipi di informazioni (II)

Patch: il timbro prodotto da un generatore pu essere una descrizione del segnale o un singolo strumento o una combinazione di pi strumenti ed effetti Linformazione strutturata logicamente in tracce, alle quali vengono assegnati dei canali. Ai canali vengono assegnate le patch

Esempio:
El Amor Brujo: Danza ritual del fuego): Traccia 1 Traccia 2 Traccia 3 Traccia 4 Traccia 5 Chan 1 Chan 5 Chan 7 Chan 9 Chan 1 Chan 5 Chan 7 Chan 9 Violino Clarinetto Pianoforte Flauto

Caso 1

Caso 2

Traccia 1 Traccia 2 Traccia 3 Traccia 4 Traccia 5

Violino Clarinetto Pianoforte Flauto

MIDI: tipi di informazioni (III)

Una nota: nel momento che si suona una nota (es. si preme un tasto della tastiera) vengono codificate le seguenti informazioni

Nota on/nota off Velocity: fa riferimento al tempo tra listante in cui il tasto stato premuto e listante in cui viene rilasciato (n.b. non il volume anche se influisce sullampiezza del suono) Pitch (o altezza della nota): sono a disposizione 128 valori che codificano le note (nel senso intuitivo tradizionale) Aftertouch: codifica informazioni sulla pressione del tasto (es. il vibrato)

Informazioni temporali e sincronizzazione

I dispositivi MIDI sono dotati di un clock per la sincronizzazione degli eventi temporali.

Tick o PPQ (Parts Per Quarter): un riferimento relativo rispetto alla struttura della partitura BPM (Beats per Minute): un riferimento assoluto rispetto che determina la velocit di esecuzione del brano

I dispositivi MIDI comunicano secondo un meccanismo master-slave (il dispositivo master coordina gli altri)

Sintesi del suono

La sintesi del suono comprende linsieme degli algoritmi per la generazione del suono direttamente tramite un calcolatore

Si genera direttamente la sequenza numerica (audio digitale) che verr convertita in segnale audio Si pu generare del suono a partire da campionamenti di segnali esterni (che diverso dalla registrazione digitale)

Algoritmo di sintesi
Un segnale periodico descrivibile attraverso una funzione matematica

Per generare un suono (sinusoidale) basta calcolare il valore della funzione in corrispondenza degli intervalli di campionamento N.B. in alternativa, si pu sfruttare la periodicit del segnale: dato un periodo del segnale, ne preleviamo il valore in n punti equidistanti. Si costruisce una tabella di n punti detta wavetable

Oscillatore digitale
Loscillatore digitale un algoritmo semplice per la sintesi del suono. Prevede le seguenti operazioni:

Leggi ciclicamente i valori della wavetable Quando arrivi allultimo torna al primo

n.b: londa non deve essere necessariamente sinusoidale (occore che sia periodica)

Segnali di controllo
Il segnale sinusoidale puro manca di caratteristiche di dinamicit. Si introducono dei segnali di controllo: inviluppo, tremolo e vibrato Inviluppo: il suono sempre caratterizzato da un inviluppo dampiezza (ADSR: attacco, decadimento, sostegno, rilascio). E possibile cambiare linviluppo dampiezza del segnale originale

Segnali di controllo (II)

Tremolo: possibile controllare lampiezza delloscillatore attraverso un altro oscillatore Si somma allampiezza del primo oscillatore il segnale prodotto da un oscillatore di controllo. Si ottiene un effetto di tremolo simile allesecuzione strumentale (es: nei fiati) Vibrato: analogamente al tremolo ma sulla frequenza Un oscillatore di controllo genera un incremento (minimo) della frequenza delloscillatore principale. Si ottiene un effetto di vibrato (es: nei violini e in genere negli strumenti a corda)

Metodi di sintesi
Esistono diversi metodi di sintesi:

Campionamento Generazione diretta Trasformazione Analisi e risintesi Modellazione fisica

Sintesi per campionamento

Si preleva un campione ottenendo un segnale di breve durata attraverso una registrazione diretta oppure attraverso lediting da un file audio (playback di materiale sonoro preesistente)

Campionamento semplice: funziona come loscillatore tramite la lettura di una tabella in cui il suono prelevato non deve essere necessariamente periodico
Il campionatore un dispositivo (HW o SW) che svolge il compito di costruire la wavetable

Resampling: il passo successivo al campionamento semplice e prevede la possibilit di intonare il suono campionato si cambia la frequenza del suono ricampionando il suono a frequenze di campionamento diverse

Generazione diretta
Il suono viene generato direttamente attraverso il calcolo matematico (o funzione matematiche che descrivono il suono)

Sintesi a forma donda fissa: si calcola la forma donda attraverso una funzione matematica periodica. La forma donda pu essere diversa (quadra, triangolare, a dente di sega, etc.). Inoltre si possono applicare gli operatori di controllo Rumore: si generano forme di rumore creando campioni i cui valori dampiezza variano casualmente (in senso statistico) Sintesi additiva: sfruttando il teorema di Fourier si generano segnali complessi componendo (sommando) diversi segnali semplici.

Sintesi per trasformazione

Una trasformazione un insieme di regole e procedure atte a trasformare un segnale chiamato input in un altro segnale chiamato output De Poli 1989

Sintesi sottrattiva: il segnale di input un segnale complesso. Il segnale subisce un processo di filtraggio attenuando le frequenze indesiderate ed enfatizzando quelle desiderate (es: la cassa armonica della chitarra effettua un filtraggio selettivo) Modulazione: un aspetto di un oscillatore (ampiezza, frequenza o fase) varia in relazione ad un altro segnale. Il segnale che viene trasformato si dice portante mentre quello che controlla la trasformazione si dice modulante.

Analisi e risintesi
Dato un suono, fondamentale il controllo dei parametri che ne determinano rispettivamente linviluppo delle componenti armoniche. La generazione del suono avviene in tre fasi: 1) creazione di un file contenenti i dati ricavati dallanalisi; 2) modifica del file danalisi; 3) risintesi a partire dal file danalisi modificato Phase Vocoder (PV): si determinano le ampiezze e le frequenze delle componenti del segnale. Si costruiscono gli inviluppi relativi ad ampiezza e frequenza per tutti i segnali sinusoidali Sintesi per predizione lineare o linear predictive coding (LPC): usato per la sintesi della voce umana. E simile al PV ma il suono viene filtrato in maniera analoga alla sintesi sottrattiva.

Sintesi per modelli fisici

Si assume che il segnale possa essere calcolato sulla base di equazioni che descrivono il comportamento fisico (acustico e meccanico) dei corpi che interagiscono nella sua produzione

Paradigma massa-molla: una corda in vibrazione pu essere descritta come un insieme di masse discrete connesse per mezzo di molle Lo spostamento della posizione di equilibrio di una molla pone in vibrazione la massa collegata che la trasmette alla molla successiva generando un processo di propagazione dellonda