udio Imersivo e Personalizvel: Novas tecnologias para interagir com udio

Regis Rossi A. Faria, Ncleo Eng. udio e Codificao Sonora, Escola Politcnica da USP

Agenda
Introduo ao tema Imerso, sistemas de udio espacial Personalizao: novas tendncias Novas tecnologias O que estamos fazendo

Imerso, Interao, Personalizao

Imerso: envolvimento, envolopamento, surround, campos sonoros, 2D, 3D Interao: modos distintos em distintas fases da cadeia de produo ao consumo Personalizao: principalmente no consumo A duvida que no morre: qual o proximo passo? Fim do CD, mdia fixa?

Imerso
2 canais
udio 1D e 2D introduo percepo da distncia, direo, e movimentos explora indicadores auditivos de localizao
diferena de fase (ITD) diferena de amplitude/nvel (ILD)

informao temporal e espacial 2D

Estreo
Bell Labs, anos 1930 FM stereo (1950s )

Sistemas de udio espacial

4 canais Quadrifnicos
udio 2D Western Electric, 1940 LCRS (matricial 4-2-4)
pssima localizao localizao pobre

90o

pssima localizao

Sistemas Dolby
Dolby Stereo (1976) 4-2-4 Dolby Surround (1982) Dolby Prologic (1987) Dolby Digital (1992) (AC-3 compression p/ 5.1) Dolby Digital Surround EX (1999)
localizao muito pobre

Sistemas de udio espacial

Sistemas envolventes (Surround)
sensao do espao (ambientao) sensao de envolvimento

3.1 (ex: Dolby Surround, matricial) 4.1 (ex: tipos LCRS, matricial) 5.1 (3/2/1) HDTV/ATSC (AC-3)
ITU-R BS.775.1 Multichannel Stereophonic Sound System with and without Accompanying Picture (Genova, 1992/94)

6.1 / 7.1 10.2 22.2 Wave Field Synthesis (WFS)

5.1/7.1
ITU-R BS.775.1

Configuraes multicanais
Nmero de canais na reproduo Dois canais (2/0/0) Trs canais (3/0/0) Quatro canais (3/1/0) (LCRS) 4, 6, 8, 12, 16 canais (Ambisonics) 5.1 canais (3/2/1) (ITU-R.BS 775-1) 6.1 canais (3/3/1) 7.1 canais (3/4/1) (ITU-R.BS 775-1) 7.1 canais (5/2/1) (SDDS) 10.2 (7/3/2) Configurao estreo tpico estreo mais canal de reforo frontal estreo mais canal central e canal de efeitos (envolvente) caixas formando geometrias regulares (polgonos 2D e 3D) estreo frontal mais canal central e estreo envolvente 5.1 mais canal melhorado central traseiro, efeito envolvente

5.1 mais dois canais envolvente adicionais 5 canais frontais mais dois canais envolventes, para cinemas 5.1 mais dois canais laterais frontais, mais dois canais frontais em elevao, mais um canal central envolvente traseiro, mais um canal de baixas frequncias. painis ou distribuidos matrizes de alto-falantes densamente

16, 32, 64, 128, ... canais (WFS)

Tecnologias para udio espacial

A3D (Aureal 3-Dimensional) v.3.0 API de udio 2D/3D, acelerao de udio por hardware, compatvel EAX e I3DL2, simulao efeito 3D atravs de 2 alto-falantes, para jogos Sistema matricial 5-2-5 e 4-2-4

Circle Surround

DirectSound / DirectSound3D (DS3D)

API de udio e bibliotecas para udio espacial, acelerao de udio por hardware Sistemas para codificao 4-2-4, codificao surround discreta (multicanal) e processamento multicanal Sistema para udio surround multicanal, referncia para cinema e home-theaters Tecnologia de espacializao sonora, bibliotecas e API para som 2D/3D (jogos)

Dolby Stereo, Surround, Surround EX, Prologic, Pro Logic II, Digital AC-3 DTS (Digital Theater Systems)

EAX 1.0/2.0/3.0/4.0 (Creative Labs)

Tecnologias para udio espacial

I3DL2 (IASIG 3D level 2) (Interactive Audio Special Interest Group) Suportado por consrcio de empresas Logic 7 (Lexicon) MLP (Meridian Lossless Packing) MPEG-1 parte 2 (2 canais) MPEG-2 parte 2 (multicanal: BC) MPEG-2 parte 7 e MPEG-4 (AAC) MPEG-4 (Structured Audio) Especificao de API para reverberao, aplicao em jogos,modela posio de objetos e ouvinte, distncia, (atenuao e reverberao), obstruo, ocluso, velocidade, efeitos, radiao, ambincia. Processo de codificao/decodificao surround matricial Sistema para codificao e empacotamento de udio digital sem perdas, compresso <3:1 Famlia de codecs de udio da ISO/IEC para 2 canais, 6 canais (5.1) e at 48 canais (AAC)

Integrao de ferramentas avanadas para codificao, descrio, composio, transmisso, sntese e reproduo

Tecnologias para udio espacial

MPEG-4 BIFS (Binary Format for Scenes) Advanced BIFS formato de descrio de cenas audiovisuais; inclui modelamento da posio e diretividade da fonte, da propagao e atenuao no meio, e metadados para auralizao interface aberta de software-hardware; API para udio 3D, bibliotecas, sintaxe semelhante OpenGL, compatvel com IASIG 3D, modela diretividade e distncia, efeitos, reflexes, obstrues, reverberao, transmisso, permite ao programador especificar objetos e operaes para sada multicanal e arranjos de fontes em volta do ouvinte sistema de codificao multicanal (7.1) de udio envolvente da Sony programa (bibliotecas para MAX/MSP) espacializador e auralizador do IRCAM, para som 3D bi-aural, transaural[1] e multicanal (4 a 8 alto-falantes)

OpenAL (Open Audio Library)

SDDS (Sony Dynamic Digital Sound) SPAT (IRCAM Spatialisateur)

Tecnologias para udio espacial

SRS (WOW, TruSurround, Circle Surround 5.1, Circle Surround II (6.1), Headphone, VIP) THX THX Select, THX Surround EX VST (Virtual Sound Technology, Steinberg, 1996) tecnologia proprietria para simulao de udio espacial (virtual surround) para fone de ouvido, pares de alto-falantes (estreo melhorado), e 5.1 e 6.1 canais sistema proprietrio de referncia e certificao de qualidade para udio envolvente em cinemas e teatros padro para implementao de softwares de udio (geradores, processadores, efeitos) e integrao transparente com outros sistemas por meio de plugins mdulos de software para produo de udio espacial em formato surround multicanal (5.1) voltados para edio de parmetros surround, masterizao e produo de trilhas 5.1

Waves 360 Surround Tools (Manager, Reverb, Imager, Limiter, Panner, Compressor, bit requantizer, LFE low pass filter, Surround Mixdown)

Alguns Sistemas Comerciais

Mesas multicanais digitais (5.1) Decodificadores 5.1 UHJ Waves (surround) Convolvotron IOSONO (WFS) RX6 Piranha

Interao
Interao na produo: entre msicos tocando, mais antiga, elo mais forte No consumo: elo de interao com pblico mais fraco,
Passividade pro-sumer

Interagindo com a cena sonora

Personalizao
udio segue tendencia de servio Servios > personalizao Personalizao de que? Espao, instrumentos, posies, equalizao, objetos sonoros,

SAOC
Codificao de objetos de udio espacial

Obj. #1 Obj. #2 Obj. #3 Obj. #4 ... SAOC Encoder

obj. #1

Downmix signal(s) Side Info

obj. #2

SAOC Decoder

obj. #3 obj. #4

Renderer

Chan. #1 Chan. #2 ...

...

Interaction / Control

Arquiteturas para SAOC

Arquiteturas para SAOC

IRCAM, Semantic Hi-Fi

Arquiteturas para SAOC

AUDIENCE (Faria, 2005)
Mapping sound sources atributes, position, environment parameters Acoustic propagation simulation (sound field rendering) Processing and generation of spatial encoded sounds into a format for distribution Decoding, mixing, filtering, generating N output signals, reproducing sound field Acoustic scene description

Acoustic simulation

Spatial coding

audio
..1010011011..

..1001101101.. transmissio n

decoding Multichannel playing

Gerao de cenas sonoras

Jang&Taejin (2006)

Novos servios personalizveis

Servios de udio personalizados para Internet baseados baseados em presets

Teleconferncia
Teleconferncia orientada a objetos de som

NEAC
O que estamos fazendo? AUDIENCE, espacializao OpenAudience, projeto colaborativo openaudience.incubadora.fapesp.br Nova fase em busca de parceiros

AUDIENCE Project
Audio Immersion Experience by Computer Emulation

AUDIENCE Objetivos
Melhorar percepo da qualidade espacial em sistemas de RV imersiva usando simulao de campo sonoro Auralizao com matrizes de alto-falantes Construir mquinas de auralizao 2D e 3D Seguir paradigmas abertos Testar configuraes de alto-falantes para auralizao 2D e 3D
Geometrias regulares (cubo, octaedro, etc.)

Testar codecs de udio para aplicao em auralizao

AUDIENCE Fases do Projeto

(1) setup de infra-estrutura multicanal (2) Investigaes de auralizao
1st order Ambisonics Higher order Ambisonics Wave Field Synthesis

(4) Mquinas de auralizao

Software: Audience software Hardware: amplificao e distribuio

Infra-estrutura
AUDIO NODE
(CLUSTER)

P10 (TRS) S/PDIF

IN OUT

8 word clock (BNC)

MULTICHANNEL SOUNDCARD

RCA Bornes

AMPLIFIERS
+ + + + + + + +

Speaker LANDO

MULTICABLE

12

12

DISTRIBUTION PANELS

CAVERNA Digital

Arranjos de Alto-Falantes

cubo

Anel octagonal
x2

x2

x2

Anel octagonal interno

x2

Arquitetura de Auralizao

Mquina de Auralizao
Plataforma aberta: Pd
real-time graphical programming environment for audio, music and graphical processing

AUDIENCE Pd Patch:
Layer-oriented components Flexible command passing and audio routing

Exemplo de Uso
Sound Sources
LAYER 1: Acoustic scene rendering

Listener

X,Y,Z, 1,, 6, rfonte(x,y,z), rouvinte(x,y,z)

LAYER 2: Acoustic simulation

LAYER 4: Multichannel display

hw, hx, hy, hz

Ex: Ambisonic format IRs
IR IR IR IR

Ex: 200ms LAYER 3: Spatial sound coding

S1 S1 S1

sound in 2D/3D Format

Oj

S1B B S1 B S1

COj

LAYER 4: Decoding LAYER 4: Decoding

(ex: for 8 channels) (ex: for 8 channels)