“Music Information Retrieval - AUDIO”

Antonello D’Aguanno
daguanno@dico.unimi.it
 MIR
(Music Information Retrieval)

DEFINIZIONE:

Area di ricerca multidisciplinare che coinvolge esperti in vari campi

scientifici (informatici, fisici e altri), ma anche umanistici e musicali
(musicologi, storici e altri).

SCOPO:

Permettere una maggiore interazione e fruibilità dell’informazione musicale.

 MIR

MOTIVAZIONI:

• Con l’introduzione dei formati audio compressi è

enormemente cresciuto il numero di titoli presenti
nelle varie collezioni
• All’aumento del numero di titoli disponibili non ha
fatto seguito un relativo aumento nella gestione dei
brani
• Il mercato musicale si sta frammentando dall’album al
singolo brano
Architettura MIR
 MIR e EMD (1)
Necessario distinguere 2 diverse tipologie di sistemi:

• MIR: Hanno lo scopo di fornire all’utente informazioni su brani

conosciuti o sconosciuti, permettendo un’ interazione “rapida”
con il contenuto musicale.

• EMD (Electronic Music Distribution) : Sistemi per la distribuzione

(vendita) di musica digitale, il loro scopo ideale è riuscire a
fornire (vendere) ad ogni utente la musica che preferisce.

In poche parole:
• MIR  CONOSCENZA

• EMD  VENDITA
 MIR e EMD (2)
Tipiche domande a cui dovrebbe poter rispondere un
sistema MIR:

• Esempi di problematiche inerenti il singolo brano:

• Sai dirmi il titolo di quel brano che fa…

• Quante cover sono state fatte del brano…
• Esiste una versione live del brano…

• Esempi di problematiche legate ad intere compilation:

• Avrei bisogno di creare una compilation con brani melodici

• Per Natale vorrei un album con dei brani a tema
• Vorrei tutti i brani in cui è presente la “tromba marina”
 MIR e EMD (3)

Finalità di un sistema EMD:

• Attualmente il mercato della musica conta su oltre
10.000.000 di titoli (dati 2004)
• Virtualmente ogni utente Internet può essere
considerato un possibile fruitore di musica
• Gli utenti Internet superano i 600 milioni e continuano
a crescere
• Come rendere accessibile questa grande quantità di
dati al grande pubblico?
 EMD

Problematiche EMD:

• Dei 10 milioni di titoli presenti realmente solo l 1% è

considerato realmente “attivo”

• I titoli “attivi” sono realmente i “migliori”?

• In un sistema ideale ogni utente dovrebbe trovare la

musica che vuole realmente ascoltare,
indipendentemente dalle conoscenza che ha!
 Esempi di Sistemi EMD
Amazon’s MP3 Store
1 solo campo di
ricerca

2 sole modalità di
ricerca
 Funzionamento di Amazon

• DataBase contenente i meta-dati “basilari” (artista-titolo-album)

alimentato “non tramite analisi dei contenuti”

• Query dell’utente legate a questo set di meta-dati

• Raccomandazioni automatiche del sistema legate alle

preferenze degli utenti precedenti

PROBLEMA!

I titoli più “raccomandati” saranno sempre quelli aventi maggior

“successo” ovvero i più noti e famosi che raccolgono il maggior
numero di click.
 Esempi di Sistemi MIR
Last.fm / Pandora (music recommender)

Valutazione
positiva

Inizio della Valutazione

Navigazione negativa
 Funzionamento di Last.fm /
Pandora
• DataBase contenente oltre 100 meta-dati per ogni canzone
relativi ai contenuti (in Pandora si parla di Music Genome)
alimentato da ascoltatori esperti

• Query dell’utente legate ad un brano/artista di partenza. Il

sistema tramite analisi/confronto dei metadati considerati
propone la canzone successiva

• L’utente può accettare o meno la raccomandazione. Il sistema

ne terrà conto per le scelte successive

PROBLEMA!

Quanto costa far ascoltare i brani agli esperti?

Cosa accade in caso di errore di Compilazione? (es. Exodus su
last.fm)
 Esempi di Sistemi MIR
MiDoMi (Query by Humming)

Inizio
navigazione
tramite tastiera

Inizio della
navigazione
Navigazione per
tramite Voce
associazione
 Funzionamento di MiDoMi
• DataBase contenente per ogni canzone i comuni meta-dati e una
serie di registrazioni degli stessi utenti che cantano il brano in
esame

• Il sistema confronta il brano cantato dall’utente con il DB e

seleziona i brani più simili proponendoli all’utente

• L’utente individua il brano corretto tra quelli proposti dal

sistema

PROBLEMA!

Cosa accade in caso un utente registri una canzone sbagliata?

L’utente medio è in grado di valutare la qualità del suo cantato?
 MIR e EMD (4)

In generale possiamo distinguere 2 diversi scenari d’uso

legati a questo tipo di sistemi:

SCENARIO 1
• L’utente vuole navigare all’interno del sistema per accrescere le
proprie conoscenze musicali

SCENARIO 2
• L’utente vuole avere una risposta esauriente ad una domanda
specifica
 Amazon e Last.fm

Rispetto agli scenari precedenti:

Last.fm è focalizzato sullo scenario 1:

un utente naviga all’interno del DB ascoltando brani proposti
automaticamente, dando dei pareri sulle selezioni per istruire
l’algoritmo di scelta dei brani.
Molto difficile selezionare uno specifico brano.

Amazon è focalizzato sullo scenario 2:

un utente ha a disposizione dei parametri di ricerca molto
stringenti per trovare in fretta ciò di cui ha bisogno.
Molto difficile navigare nel sistema.
 MidoMi

MiDoMi è focalizzato sullo scenario 2:

• un utente ha a disposizione dei parametri di ricerca testuali e per

contenuti (humming) per trovare in fretta ciò di cui ha bisogno.

• Poco utile navigare nel sistema. In realtà si naviga tra varie

registrazioni fatte da altri utenti

• Primo esempio di sistema di ricerca per contenuti

 Funzionamento dei Sistemi
Esistenti

I sistemi presentati sono tutti basati su meta-dati:

• Compilati dagli utenti

• Estrapolati tramite inferenza

• Non viene eseguita nessuna analisi sui contenuti

audio del brano musicale
 Hard-Way e Easy-Way (1)
Due diverse possibilità per gestire l’informazione
musicale:

• Easy Way
ƒ Le informazioni sui contenuti musicali possono
essere generati tramite l’analisi compiuta da
esperti
ƒ Le relazioni tra i brani possono essere ottenuti
tramite inferenza dal comportamento degli utenti

In generale non viene eseguita nessuna analisi

sui contenuti audio del brano musicale
 Hard-Way e Easy-Way (2)
Due diverse possibilità per gestire l’informazione
musicale:

• Hard Way
ƒ Le informazioni sui contenuti musicali sono
generati tramite l’analisi compiuta da algoritmi di
DSP
ƒ Le relazioni tra i brani sono anche loro ottenute
tramite il risultato degli algoritmi di analisi

In generale non sono necessari interventi umani

per la comprensione dei contenuti del brano
musicale
 Hard-Way e Easy-Way
Vantaggi e Svantaggi

Costi di Costi di
Valutazione Affidabilità
Sviluppo Mantenimento

Easy Molto
Bassi Media Bassa
Way Elevati

Hard
Elevati Bassi Media Elevata
Way
 Comprensione
dell’informazione
 Comprensione
Tutti i problemi e le informazioni contenute in un
segnale musicale sono ben definite?

Alcune si, altre no, altre solo in parte

Qualche esempio legato all’immagine precedente

• durata, spettro, pitch, timbro Ben definite

• armonia, bpm, dinamica, ritmo Parzialmente definite

• genere, mood, similarità Poco definite