Documenti di Didattica
Documenti di Professioni
Documenti di Cultura
Filipe Calegario
Centro de Informática - UFPE
Março
Junho
Abril
Maio
Atividades
2.3 Interação Humano-Computador e Música
Dadas as técnicas de rastreamento e de geração de música, resta Revisão da Literatura e Estado da Arte X X
debater quais as mais adequadas maneiras de casá-las. Análise de Projetos Relacionados X X
De (Wanderley 2001), podemos levantas algumas questões Estudo e experimentação das bibliotecas
X X
muito pertinentes para este projeto: disponíveis
Que gestos obtidos de novas formas de interação Mapeamento das formas de interação X X
fazem sentido musicalmente? Concepção do projeto X X
Quais limitações estão relacionadas com a técnica de Implementação do Projeto X X X
rastreamento utilizada e quais são inerentes ao Preparação do artigo X X
contexto musical? Preparação da apresentação X X
Como projetar sistemas musicais interativos que
façam sentido do ponto de vista do mapeamento de 6 RESULTADOS ESPERADOS
gestos do usuário? No final do projeto espera-se entender as vantagens e
É bastante importante a possibilidade de quebrar o paradigma desvantagens do uso de técnicas de body tracking e skeleton
de que a interação musical entre o usuário e o computador é tracking no contexto de composição musical e interativa. Além de
apenas realizada através de um teclado semelhante ao de um assimilar quais limitações são inerentes ao sistema musical e quais
piano. Para (Levitin, McAdams e Adams 2002), as novas formas são relacionadas às técnicas de rastreamento. Bem como, quais
de interação precisam ser estudadas e validadas para ampliar a restrições são específicas do sistema desenvolvido no projeto e
interatividade musical. quais podem ser generalizadas para qualquer sistema de interação
musical. E a partir da validação do conceito, construir um
3 OBJETIVOS
mapeamento de interfaces tridimensionais mais adequadas num
Os objetivos deste trabalho são: (1) estudar as técnicas de body ambiente de composição musical que possa servir de guideline
tracking e skeleton tracking utilizando o Kinect como sensor, (2) para o desenvolvimento de outros projetos musicais e interativos.
a partir da análise de projetos relacionados e referências
bibliográficas entender quais as mais adequadas formas de REFERÊNCIAS
interação humano-computador no contexto de composição
Camurri, A. “Music Content Processing and Multimedia: Case
musical interativa e (3), como prova de conceito, implementar um
Studies and Emerging Applications of Intelligent Interactive
sistema musical interativo no qual o usuário a partir de seus
Systems.” Journal of New Music Research 28, n. 4 (1999): 351-
movimentos cria uma peça musical.
363.
4 METODOLOGIA Chen, Daniel, Pi-Chi Chou, Clinton B Fookes, e Sridha
Sridharan. “Multi-view human pose estimation using modified
O desenvolvimento do projeto seguirá os seguintes passos: five-point skeleton model.” International Conference on Signal
1. Revisão da Literatura e Estado da Arte: serão estudadas Processing and Communication Systems 2007. Gold Coast, 2008.
técnicas tanto de rastreamento quanto de mapeamento de 17-19.
gestos relacionando-as com formas de composição de Giles, Jim. "Inside the race to hack the Kinect." The New
música algorítmica. Scientist 208 (2010): 22-23.
2. Análise de Projetos Relacionados: projetos que se Gonçalves, André, Eduardo Lopes, e Ana Paiva. “The music of
relacionam do ponto de vista de composição musical paintings: a rhythmic perspective.” 12th Generative Art
algorítmica e do ponto de vista de interatividade e música Conference. GA2009, 2009.
serão analisados. Jacob, B. “Algorithmic composition as a model of creativity.”
3. Estudo e experimentação das bibliotecas disponíveis: Organised Sound, 1996: 157-165.
bibliotecas como openframeworks (OpenFrameworks Keston, John. Audio cookbook: recipes for sound design. 2008.
2008), OpenNI (OpenNI 2010), OSCeleton (SenseBloom http://audiocookbook.org/gms/ (acesso em June de 2010).
2010), re.scalla (re.scalla 2010) e Processing
Levitin, Daniel J, Stephen McAdams, e Robert L Adams.
“Control parameters for musical instruments: a foundation for
new mapping of gesture to sound.” Organised Sound, 2002, 7 ed.:
171-189.
Mathews, Max. Radio Baton. 2005.
http://www.csounds.com/mathews/ (acesso em June de 2010).
Menier, Clement, Edmond Boyer, e Bruno Raffin. “3d skeleton-
based body pose recovery.” Proceedings of the 3rd International
Symposium on 3D Data Processing, Visualization and
Transmission. Chapel Hill: Hill, 2006.
Microsoft. “Microsoft Kinect.” Kinect. 2010.
http://www.xbox.com/kinect (acesso em 2011).
Morales-Manzanares, R, E F Morales, R Dannenberg, e J
Berger. “SICIB: An interactive music composition system using
body movements.” Computer Music Journal 25, n. 2 (2001): 25-
36.
OpenFrameworks. “OpenFrameworks.” OpenFrameworks.
2008. http://openframeworks.cc (acesso em 2011).
OpenNI. “OpenNI.org.” OpenNI.org. 2010.
http://www.openni.org (acesso em 2011).
Pachet, F. “The Continuator: Musical interaction with style.”
Proceedings of the ICMC Conference. 2003. 211-218.
Pachet, F, e A Addessi. “When children reflect on their playing
style: The Continuator.” ACM Computers in Entertainment, 2004.
Paradiso, J. “The brain opera technology: New instruments and
gestural sensors for musical interaction and performance.”
Journal of New Music Research 28, n. 2 (1999): 130-149.
Processing.org. “Processing.org.” Processing.org. 2008.
http://www.processing.org (acesso em 2011).
re.scalla. “re.scalla.” re.scalla. 2010.
http://code.google.com/p/rescalax (acesso em 2011).
Rokeby, David. Very Nervous System. 1989.
http://homepage.mac.com/davidrokeby/vns.html (acesso em June
de 2010).
Saffer, D. Designing Gestural Interfaces: Touchscreens and
Interactive Devices. Sebastopol, CA: O'Reilly Media, 2008.
SenseBloom. “OSCeleton.” OSCeleton. 2010.
https://github.com/Sensebloom/OSCeleton (acesso em 2011).
Smith, David. Variations V. 2008.
http://arttorrents.blogspot.com/2008_07_01_archive.html (acesso
em June de 2010).
Wanderley, Marcelo. “Gestural Control of Music.” IRCAM,
2001.
Wilson, Andrew D. “Using a depth camera as a touch sensor.”
ACM International Conference on Interactive Tabletops and
Surfaces (ITS '10). New York: ACM, 2010. 69-72.
Winkler, Todd. Composing Interactive Music. Cambridge, MA:
MIT Press, 1998.