GENVIRTUAL: UM JOGO MUSICAL PARA REABILITAO DE INDIVDUOS COM NECESSIDADES ESPECIAIS

Ana Grasielle Dionsio Corra Laboratrio de Sistemas Integrveis da Escola Politcnica da Universidade de So Paulo (LSI-EPUSP). anagrasi@lsi.usp.br Gilda Aparecida de Assis Laboratrio de Sistemas Integrveis da Escola Politcnica da Universidade de So Paulo (LSI-EPUSP). gildaaa@lsi.usp.br Marilena do Nascimento Associao de Assistncia Crianas Deficientes (AACD) musicoreab-marilena@aacd.org.br Roseli de Deus Lopes Laboratrio de Sistemas Integrveis da Escola Politcnica da Universidade de So Paulo (LSI-EPUSP). roseli@lsi.usp.br Resumo: Os jogos eletrnicos tm sido explorados em diferentes contextos, no somente com fins de entretenimento, mas visando tambm desenvolver habilidades cognitivas e motoras. O GenVirtual, um jogo musical em Realidade Aumentada, que possibilita novas formas de interao com o computador, sem o uso de adaptaes. Nos aspectos cognitivos, o jogo estimula a ateno, concentrao e memorizao de cores e sons emitidos a partir de objetos virtuais projetados no mundo real. Nos aspectos fsicos, o jogo proporciona o aprendizado motor, que ocorre de acordo com o planejamento da ao motora feito previamente pelo terapeuta. Testes realizados com um especialista na rea de reabilitao revelam a importncia do GenVirtual como um meio facilitador e motivador no processo de aprendizagem, alm de colaborar para a incluso digital destes indivduos, contribuindo para a melhoria de sua qualidade de vida. Palavras-chave: Educao Especial, Musicoterapia, Jogos Educacionais e Realidade Aumentada. Abstract: The electronic games have been explored in many different contexts, not only for entertainment purpose, but also to develop motor and cognitive abilities. GenVirtual is a musical game based on Augmented Reality that allows, new ways of interaction with computers without the need of adapters. In the cognitive context, the game stimulates attention, concentration and memorization of colors and sounds, emitted by virtual objects projected onto the real world. In the physical context, the game allows motor learning, according to the planning made by the therapist. The tests conducted with the therapist that works exclusively with rehabilitation, reveals the importance of GenVirtual as a mean that facilitates and motivates the learning process, beyond collaborating with digital inclusion, which contributes for life quality improvement. Keywords: Special Education, Therapy Music, Educational Games and Augmented Reality.

GenVirtual: um Jogo Musical para Reabilitao de Indivduos com Necessidades Especiais

Ana Grasielle Dionsio Corra, Gilda Aparecida de Assis, Marilena do Nascimento e Roseli de Deus Lopes

1. INTRODUO
Estudos sobre a utilizao de jogos na educao tm sido foco de pesquisas cada vez mais freqentes no processo de ensino-aprendizagem [1]. Os jogos educativos exploram atividades ldicas que possuem objetivos pedaggicos especializados para o desenvolvimento do raciocnio e do aprendizado. Em geral, os jogos apresentam diferentes tipos de desafios, que ao serem resolvidos estimulam vrias funes cognitivas bsicas, tais como ateno, concentrao e memria [2],[3]. Os jogos trazem consigo uma nova estruturao do mundo do entretenimento, da informao e da educao. Envolvem, seduzem e divertem, gerando um novo contexto comunicacional, disputando a ateno de crianas, jovens e adultos com outros espaos de lazer, de organizao e sistematizao do conhecimento, como a escola. Muitos jogos tradicionais, tais como jogo da memria, siga-sons-e-cores e quebra-cabeas, podem ser explorados para estimular funes cognitivas e motoras de indivduos com necessidades especiais. Estes jogos visam desenvolver as potencialidades e diminuir as limitaes destas pessoas, buscando melhorar e/ou manter habilidades fsicas, mentais e sensoriais. Contudo, usurios com deficincia fsica e/ou cognitiva, muitas vezes, necessitam de adaptaes e tecnologias assistivas para interao com o computador [1]. A Realidade Aumentada uma tecnologia que permite suprir estas limitaes, atravs de softwares que possibilitam novas formas de interao e entretenimento que vo alm daquelas realizadas em frente a computadores ou consoles de videogame munidos de webcan, ou seja, sem a necessidade de uso ou adaptao a dispositivos convencionais como joystick, teclado e mouse. Assim, os jogos baseados em Realidade Aumentada permitem que jogadores se desloquem e interajam de diferentes formas no ambiente real, por meio de diferentes dispositivos e tecnologias de comunicao [4]. O presente trabalho visa contribuir para o desenvolvimento educacional de indivduos portadores de necessidades especiais, atravs de um jogo musical, em Realidade Aumentada, denominado GenVirtual. O objetivo do jogo, do ponto de vista cognitivo, estimular a ateno, concentrao e memorizao de cores e sons emitidos a partir de objetos virtuais projetados no mundo real. Do ponto de vista fsico, na viso da estimulao e manuteno fsica, o jogo proporciona o aprendizado motor, que ocorre de acordo com o planejamento da ao motora feito previamente pelo terapeuta ou do individuo que interage com o equipamento. A seqncia dos sons pode ser gerada aleatoriamente ou a partir de uma msica j conhecida pelo usurio. A interao com o GenVirtual

ocorre de forma natural. Atravs das mos ou dos ps possvel manipular os objetos virtuais projetados no mundo real, dispensando o uso das adaptaes. O diferencial do GenVirtual est na possibilidade de permitir ao terapeuta realizar o planejamento motor de cada indivduo, dependendo de suas limitaes fsicas. Isto ocorre atravs da disposio de marcadores sobre a mesa, ou sobre o cho, onde ocorrer a interao. Segundo a musicoterapeuta da Associao de Assistncia Crianas Deficientes (AACD) de So Paulo, importante ter a referncia do movimento para que seja possvel controlar a motricidade do indivduo, caso contrrio, no ocorrer o aprendizado motor. Por meio da interao com o equipamento tambm pode a vir ser estimulada a concentrao, memorizao, percepo visual e auditiva, alm da coordenao motora.

2. REALIDADE AUMENTADA
O avano da multimdia e da Realidade Virtual permitiu a integrao, em tempo real, de vdeos e ambientes virtuais interativos. A Realidade Aumentada beneficiou-se desse progresso enriquecendo o ambiente real com objetos virtuais 3D, tornando viveis aplicaes dessa tecnologia, tanto em plataformas sofisticadas quanto em plataformas populares [5]. Conceitualmente, Realidade Aumentada uma tecnologia que combina a viso que o usurio possui do mundo real com objetos virtuais projetados em tempo real [6]. Desta forma, objetos virtuais parecem coexistir no mesmo espao fsico que os objetos reais [7]. A Realidade Aumentada permite uma interao segura e agradvel, pelo fato de projetar os elementos virtuais no mundo real. Pode-se interagir com os elementos virtuais de forma natural, atravs das mos, eliminando dispositivos tecnolgicos complexos e tornando as interaes mais agradveis, atrativas e motivadoras [8]. Esta caracterstica da Realidade Aumentada traz vantagens s pessoas com deficincia fsica, eliminando muitas vezes a necessidade do uso de adaptaes nos equipamentos. Na educao especial, comum o desenvolvimento de adaptaes em sistemas, e at mesmo, em equipamentos. Em alguns casos, o usurio pode necessitar de recursos especficos, dificultando o desenvolvimento, e apresentando inclusive, um custo mais elevado para a construo e utilizao destes sistemas. Aplicaes em Realidade Aumentada podem fazer uso apenas de um computador e uma webcam convencionais, tornando-as mais acessveis e de baixo custo. As imagens do mundo real so capturadas pela webcam, e objetos virtuais so sobrepostos ao mundo real.

10

GenVirtual: um Jogo Musical para Reabilitao de Indivduos com Necessidades Especiais

Revista Brasileira de Informtica na Educao Volume 16 - Nmero 1 - Janeiro a Abril de 2008

A interao com os objetos virtuais pode ocorrer atravs de cartes impressos em papel comum, denominados marcadores fiduciais, contendo smbolos grficos. Ao reconhecer o marcador, o sistema oferece a possibilidade da ao do usurio, movimentao e modificao do ambiente. Para isso, se faz necessrio o uso de um software que tenha capacidade de analisar os dados do mundo real e extrair informaes sobre a localizao e orientao dos marcadores. Existem diversos softwares para o desenvolvimento de aplicaes com esse propsito. O software selecionado para o desenvolvimento do GenVirtual foi a biblioteca ARToolKit.
2.2. O SOFTWARE ARTOOLKIT

identificao dos marcadores. A imagem real capturada transformada em imagem binria. Esta imagem analisada em busca de regies quadradas (molduras). Ao encontrar uma regio quadrada, a ferramenta calcula a posio e orientao da webcam em relao a esta regio buscando identificar figuras especficas, denominadas marcadores. Os marcadores so smbolos distintos e previamente cadastrados atravs de um treinamento da rede neural interna do ARToolKit para seu reconhecimento efetivo. Uma vez reconhecido o marcador, a ferramenta calcula o ponto exato que o objeto virtual deve ocupar no mundo real e realiza a sobreposio das imagens retornando ao usurio a combinao visual do mundo real e do objeto virtual.

O ARToolKit uma biblioteca livre, desenvolvida na linguagem C, que permite aos programadores desenvolver, de forma rpida, aplicaes de Realidade Aumentada. Utiliza tcnicas de viso computacional para calcular a posio e orientao dos marcadores identificados no cenrio real. Imagens do mundo real so capturadas por uma webcam, permitindo sobrepor objetos virtuais nestes marcadores [9]. A Figura 1 mostra o ciclo bsico da execuo do ARToolKit. Inicialmente a imagem do mundo real capturada por um dispositivo de entrada de vdeo para dar incio

3. A REALIDADE AUMENTADA NO CONTEXTO EDUCACIONAL

A Realidade Aumentada permite a criao de aplicaes facilitadoras e motivadoras para o aprendizado do usurio, inclusive aqueles com deficincia motora e que no apresentam habilidades para manipular o mouse ou o teclado, mas podem arrastar um objeto com as mos, com os ps ou com algum dispositivo especfico. A interface deve ser planejada para oferecer flexibilidade ao usurio em relao escolha da ao.

Figura 1: Ciclo bsico da execuo do ARToolKit [9].

Garbin et al [8], apresentam alguns experimentos com sistemas de Realidade Aumentada para trabalho com crianas portadoras de necessidades especiais. Conforme pode ser observado na Figura 2, os blocos de madeira (marcadores) contm numerais impressos que, quando so

capturados pela cmera, so sobrepostos por objetos virtuais e podem ser visualizados atravs da tela do computador. Alm da interao, este dispositivo permite que a criana desenvolva atividades de ateno, percepo e memorizao.

11

GenVirtual: um Jogo Musical para Reabilitao de Indivduos com Necessidades Especiais

Ana Grasielle Dionsio Corra, Gilda Aparecida de Assis, Marilena do Nascimento e Roseli de Deus Lopes

Figura 2: Experimento com imagens virtuais em atividades de matemtica [8].

Figura 4: Sistema de Realidade Aumentada para aprendizagem musical [11].

Outro trabalho relevante e com grande potencial educacional o Jogo das Palavras [4],[10]. O objetivo fazer a juno de letras para formar palavras e resgatar a imagem atravs de tcnicas de Realidade Aumentada para enriquecer os resultados finais. Conforme pode ser observado na Figura 3, foram desenvolvidos marcadores com letras em seus interiores, e cadastradas combinaes de palavras, formando assim marcadores compostos. Quando o usurio forma uma seqncia de letras previamente cadastrada, o ARToolKit mostra um objeto virtual associado quela combinao. Essas caractersticas fazem desse jogo, alm de um timo entretenimento, uma fonte de aplicaes prticas como alfabetizao, aprendizado de idiomas, alm de permitir desenvolver habilidades motoras para usurios com deficincias motoras.

A segunda forma enfoca o aprendizado de leitura musical (Figura 5), baseado em uma notao de pentagrama em branco e um marcador impresso em transparncia que reconhecido diferentemente, de acordo com o posicionamento do marcador na notao em branco. Quando um smbolo reconhecido, o sistema mostra sua identificao visual e emite o som correspondente, facilitando assim, o aprendizado de leitura e escrita desta notao.

Figura 5: Sistema de Realidade Aumentada para aprendizagem musical [11].

A ltima aplicao simula um leitor automtico de partitura (Figura 6), onde os smbolos podem ser criados em forma de apresentao a partir de um software de fcil usabilidade, como por exemplo, o PowerPoint.

Figura 3: Quebra-cabeas com palavras [4], [10].

Zorzal et al, [11] apresentam outro sistema de Realidade Aumentada para aprendizagem musical, demonstrando trs formas de aprendizado, cada uma delas enfocando reas distintas da msica. A primeira forma de aprendizado utiliza ocluso de marcadores para executar sons pr-definidos (Figura 4). Essa execuo guiada pela apresentao de smbolos ao usurio que dever fazer a ocluso do marcador apropriado, quando o smbolo mostrado atingir um certo ponto fixo do cenrio. Assim, uma pequena melodia pode ser executada, capacitando o usurio na percepo rtmica, enquanto utiliza o sistema.

Figura 6: Sistema de Realidade Aumentada para aprendizagem musical [11].

O presente trabalho vem contribuir com uma aplicao educacional em Realidade Aumentada atravs de um jogo musical. Com base nas referncias apresentadas e

12

GenVirtual: um Jogo Musical para Reabilitao de Indivduos com Necessidades Especiais

Revista Brasileira de Informtica na Educao Volume 16 - Nmero 1 - Janeiro a Abril de 2008

nas pesquisas relacionadas ao uso das novas tecnologias no processo de ensino-aprendizagem [4], acredita-se que este jogo possibilite agregar funes alm das atividades ldicas propostas pela maioria dos jogos digitais, promovendo o desenvolvimento da percepo espaocorporal, adequando a coordenao motora ao ritmo e expressividade.

em definir a quantidade de marcadores necessrios para a interao. Quanto maior a quantidade de marcadores definidos, maior ser a complexidade do jogo. Ao iniciar o jogo, o sistema sorteia as notas musicais (Sol, Sol#, La, La#, Si, Do, Do#, Re, Re#, Mi, Fa, Fa#), gerando uma seqncia musical. J na opo selecionar melodia, a seqncia musical gerada por meio de uma melodia (em arquivo MIDI) disponvel na Biblioteca de Melodias (Figura 8). Neste caso, o sistema mostra as notas musicais diferentes que foram encontradas no arquivo MIDI escolhido e indica o total de marcadores necessrios para a interao.

4. GENVIRTUAL
O GenVirtual um jogo musical que possibilita seguir uma seqncia de cores e sons emitidos a partir dos objetos virtuais projetados no mundo real. Segundo a musicoterapeuta da AACD, uma possibilidade de uso seria relacion-lo com a iniciao musical, desde que contenha um nmero considervel de sons ou notas musicais. Na msica grega ou lira, por exemplo, possvel trabalhar com vrias msicas utilizando apenas quatro notas musicais. Entretanto, com apenas estas notas no possvel reproduzir msicas populares brasileiras que so muito utilizadas, tanto em musicoterapia quanto no aprendizado em geral. Na iniciao musical, trabalha-se muito com as cores relacionadas aos sons, e esta caracterstica est sendo explorada no -GenVirtual.
4.1. CONFIGURAES INICIAIS
DO

JOGO
Figura 8: Biblioteca de Melodias do GenVirtual.

Inicialmente necessrio definir o processo de gerao da seqncia musical do jogo. Uma seqncia musical composta por notas musicais (por ex.: D, R, Mi, F, Sol, L, Si), que ao serem arranjadas seqencialmente, formam uma determinada melodia. Esta seqncia pode ser gerada aleatoriamente ou ser criada por meio de uma melodia conhecida pelo usurio. A Figura 7 mostra o fluxograma inicial do jogo.

O jogo foi implementado visando a utilizao de at 12 marcadores simultaneamente (doze notas musicais, de Sol at Fa#). Foi necessrio relacionar cada nota musical a um marcador especfico. Esta abordagem foi sugerida pela musicoterapeuta de forma que o usurio possa manter a referncia da afinao, com o sistema musical em uso.
4.2. PLANEJAMENTO
DAS ATIVIDADES MOTORAS

Aps gerar a seqncia musical, necessrio iniciar a Captura de Vdeo para reconhecimento dos marcadores e conseqentemente, a criao dos objetos virtuais para interao. A Figura 9 mostra a projeo dos cubos coloridos nos marcadores. O terapeuta pode criar vrios layouts diferenciados e adequ-los a cada tipo de paciente (planejamento motor), dependendo de suas limitaes fsicas.

Figura 9: Projeo dos cubos nos marcadores. Figura 7: Fluxograma com as configuraes Iniciais do Jogo.

De acordo com o fluxograma, na opo gerar notas musicais basta apenas informar a quantidade de notas necessrias para criar uma seqncia musical. Isto implica

De acordo com a Figura 9, a imagem do mundo real foi capturada por uma webcam, e analisada a fim de identificar regies quadradas. Em seguida, foi calculada a posio e orientao da webcam em relao aos marcadores

13

GenVirtual: um Jogo Musical para Reabilitao de Indivduos com Necessidades Especiais

Ana Grasielle Dionsio Corra, Gilda Aparecida de Assis, Marilena do Nascimento e Roseli de Deus Lopes

encontrados. Uma vez reconhecidos os marcadores, foi calculado o ponto em que cada cubo objeto virtual deve ser projetado no mundo real e foi realizada a sobreposio das imagens, combinando o mundo real com cubos virtuais coloridos. Cada cubo relacionado a uma nota musical.
4.3. INTERAO

Aps a definio do processo de gerao da seqncia musical, iniciada a interao com o usurio. Os cubos virtuais acendem de acordo com a seqncia musical a ser tocada, e simultaneamente, a nota musical referente quele cubo virtual executada. As notas musicais so emitidas uma por vez, e o sistema fica espera da interao do usurio que dever obstruir o marcador referente nota musical emitida. A cada acerto, a seqncia ganha um novo item (nota musical), aumentando o desafio de memria e reteno de informao do jogo. A Figura 10 mostra um exemplo de interao com o GenVirtual, utilizando a melodia atirei o pau no gato.

Como pode ser observado na Figura 10, a interao ocorre apenas com a obstruo do marcador atravs das mos, dispensando a utilizao de qualquer dispositivo para interao, o que facilita a utilizao do jogo por indivduos com deficincia fsica. Alguns pacientes com doenas neuromusculares, por exemplo, passam por dificuldades ao manusear os instrumentos musicais convencionais utilizados em musicoterapia. De acordo com os musicoterapeutas, a pessoa que possui perda motora enfrenta logo de incio, a perda da dissociao dos dedos, impossibilitando o manuseio de instrumentos musicais convencionais e por conseqncia a possibilidade de experienciar o fazer musical (reproduo e criao musical). Estas limitaes, atualmente, so supridas com a utilizao de adaptadores em suas intervenes teraputicas. Na maioria dos casos, em que o nvel da dificuldade motora grande, necessrio o uso de adaptadores, como por exemplo, ponteiras nas mos para tocar o piano ou teclado eletrnico e fixadores de pandeiro para uso bimanual das mos, bem como o auxlio do musicoterapeuta para a realizao das atividades musicais. O Genvirtual vem contribuir para que estes pacientes experimentem novas formas de interao com o computador, sem o uso de adaptaes.

5. AVALIAO DO GENVIRTUAL POR UMA MUSICOTERAPEUTA

Os experimentos com o GenVirtual foram realizados com a musicoterapeuta da AACD, Sra. Marilena do Nascimento. Foram utilizados cinco marcadores formados por smbolos e cores respectivos a cada uma das notas musicais (D, R, Mi, F e Sol). A Figura 11, mostra a musicoterapeuta interagindo com o GenVirtual. Foi utilizado um monitor para visualizar a animao dos cubos virtuais. A webcam encontra-se encaixada na parte superior ao monitor para captura das imagens dos marcadores sobre a mesa. Como pode ser observado, a interao ocorre de forma natural, obstruindo os marcadores com as mos, sem uso de adaptadores. Aps os testes, a musicoterapeuta afirmou que o GenVirtual pode trazer grandes benefcios aos portadores de deficincia, por se mostrar uma ferramenta facilitadora e motivadora o processo de reabilitao. Em seguida, apresentou um possvel planejamento para o uso deste sistema em atividades dirias com seus pacientes:
Figura 10: Interao com o GenVirtual.

reproduo de melodias conhecidas; percepo visual a partir da representao da nota musical por cores e objetos virtuais; percepo auditiva atravs de atividades de escuta sonora e musical; treinamento motor repetitivo e motivado pela resposta sonora identificada como o fazer musical; motivao o indivduo a reproduzir e elaborar peas musicais mais sofisticadas ampliando suas funes cognitivas como ateno, concentrao e memria.

14

GenVirtual: um Jogo Musical para Reabilitao de Indivduos com Necessidades Especiais

Revista Brasileira de Informtica na Educao Volume 16 - Nmero 1 - Janeiro a Abril de 2008

ampliando para as aes mais complexas. Segundo a musicoterapeuta, isto pode ser facilitado pelo GenVirtual, por permitir realizar o planejamento dos marcadores sobre a mesa de acordo com as limitaes fsicas de cada indivduo.

6. ESTUDO DE CASO COM UMA CRIANA COM PARALISIA CEREBRAL

Esta pesquisa foi aprovada pelo Comit de tica em Pesquisa da Associao de Assistncia Crianas Deficientes (AACD) de So Paulo, sob a superviso da musicoterapeuta Marilena do Nascimento. Testes com o GenVirtual foram realizados com uma criana de cinco anos de idade com Paralisia Cerebral [12], [13] e tiveram como objetivo avaliar, em um curto perodo de tempo, o potencial do GenVirtual na utilizao clnica, particularmente nas relaes entre a percepo visual e auditiva e a utilizao do senso-motor motivado pelo uso dos marcadores coloridos posicionados sobre a mesa. Este paciente iniciou seu tratamento na AACD quando tinha por volta de 1 anos de idade atualmente aguarda por alta parcial volta de 1 ano de idade. Estima-se que esteja em tratamento por volta de 4 a cinco anos no qual aguarda por alta parcial. Em setembro de 2007 entrou nos servios de musicoterapia est em processo de alta do setor. A indicao para este setor foi de hiperacusia (excitao auditiva, sensibilidade dolorosa e confusa de certos sons, principalmente os agudos). As metas a longo prazo para uma criana de 5 anos so iguais: toda criana nesta faixa etria, necessita de estmulos de aprendizado para que complete o ciclo de infncia e adolescncia, dentro dos critrios acadmicos. Portanto, toda e qualquer atividade que contemple o aprendizado cognitivo, motor, psicolgico-social ser de grande valia para toda e qualquer criana. Da, a importncia do GenVirtual como facilitador deste processo.
6.1. QUADRO CLNICO

Figura 11: Testes com musicoterapeuta da AACD.

Uma observao feita pela musicoterapeuta de que os sons gerados pelos marcadores devem ser curtos, sem o ressoar das notas musicais. O ideal parar o som no momento em que o marcador desobstrudo pela mo. O som do piano o timbre padro associado aos marcadores do GenVirtual, mas h a possibilidade de mudar o timbre das notas musicais emitidas pelos marcadores. Para isto, basta adicionar mesa, um carto contendo o smbolo do instrumento musical desejado, possibilitando realizar atividades mais prazerosas. Durante a avaliao, a musicoterapeuta sugeriu uma outra forma de utilizao do GenVirtual, no apenas como um jogo da memria, mas como ferramenta de composio musical: poderamos utilizar livros de iniciao musical, que trazem melodias escritas no pentagrama em forma de cores. Cada nota musical representada por uma cor no pentagrama, logo, poderamos utilizar os marcadores coloridos como instrumentos para criao musical. A Figura 12 mostra o momento em que a musicoterapeuta discute as possibilidades o processo de utilizao do GenVirtual como instrumento para criao musical.

O distrbio causado pela Paralisia Cerebral nesta criana a disartria, dificuldade de fala devido a distrbios motores dos rgos de fonao: lngua, lbio, vu palatino, e outros por ocasio de acometimentos bulbares, cerebelares, etc. [14]. O disartrico nem sempre tem dficit cognitivo, mas confunde o no especialista porque sua comunicao verbal alterada. No caso desta criana, a linguagem oral est comprometida, mas no h comprometimento do sistema cognitivo. O diagnstico dos dficits motores desta criana so: diparesia espstica: doena que afeta o trato piramidal (fibras nervosas que surgem no crebro passam pela coluna cervical at os membros motores), afeta mais severamente os membros inferiores que os superiores [15]. Predominncia direita conforme avaliao medica; controle cervical bom; controle de tronco razovel, sem apoio;

Figura 12: Atividades de reproduo musical com o GenVirtual.

A musicoterapeuta concluiu explanando que o tempo para o aprendizado longitudinal, iniciando a partir dos elementos mais simples (movimentao motora mnima)

15

GenVirtual: um Jogo Musical para Reabilitao de Indivduos com Necessidades Especiais

Ana Grasielle Dionsio Corra, Gilda Aparecida de Assis, Marilena do Nascimento e Roseli de Deus Lopes

tipo de locomoo: a marcha dependente de apoio (atualmente, est em cadeira de rodas e est iniciando treino para ficar em p); membros superiores de coordenao e dissociao de dedos pobre; prognstico de marcha ( muitas vezes, em caso como este, as crianas chegam apenas na marcha com muletas e na fase adulta acabam em cadeiras de rodas);
E

6.2. RESULTADOS

DISCUSSES

Para a realizao deste teste, foi utilizado um monitor para a visualizao das animaes dos cubos virtuais e cinco marcadores coloridos representando as cinco notas musicais (D, R, Mi, F e Sol). A musicoterapeuta fez um planejamento linear com os marcadores sobre a mesa. Foi necessrio fixar os marcadores na mesa, pois o paciente, ao tentar interagir com os marcadores, sempre os movia de lugar, saindo do foco da cmera. A Figura 13 mostra a interface do GenVirtual pronta para o experimento.

ombros. O paciente ento deveria realizar o movimento de flexo do ombro, impulsionando o brao para frente e para trs de forma a obstruir ou aproximar a mo do marcador em foco. Porm, devido a sua dificuldade motora, a criana tentou utilizar o movimento de flexo do punho para obstruir os marcadores: apoiava o punho sobre a mesa e tentava obstruir o marcador com as mos, sem retirar o punho da mesa, apenas abaixando e levantando o punho sobre o marcador. Este movimento de flexo do punho no desobstrua por completo o marcador, e desta forma, o GenVirtual no reproduzia o som correspondente. O exerccio correto era: levar a mo at o marcador, para que a webcam detectasse sua obstruo e assim executar a nota musical correspondente. Em seguida era necessrio retirar totalmente a mo do marcador para que a webcam detectasse sua desobstruo. Neste momento, a musicoterapeuta interviu e orientou para que ele realizasse o movimento correto com os braos. Um fato importante ocorrido durante os testes, foi a interveno da famlia (tia), que por iniciativa prpria, tentou ajudar a criana a descobrir como realizar a interao com o GenVirtual. Sentiu-se entusiasmada e ficou durante 10 minutos ao lado da criana, hora brincando com o GenVrtual, hora ajudando-a na interao. Este processo de interveno familiar, foi importante, pois nota-se que o GenVirtual pode estar a servio dos pacientes em domiclio, integrando a famlia, auxiliando em sua recuperao e por conseqncia, contribuindo para melhoria de sua qualidade de vida. Os testes duraram por volta de 35 minutos. Nos primeiros 5 minutos, houve a interveno da musicoterapeuta e em a interveno da famlia. Aos 15 minutos, a criana j havia aprendido o movimento correto para a interao com o GenVirtual. Por iniciativa prpria, comeou a utilizar a mo direita para interao (Figura 15), sendo esta mo, a que est mais afetada e que negligenciada na maioria das outras atividades dirias realizadas pelo paciente.

Figura 13: Interface do GenVirtual.

A Figura 14 mostra o incio dos testes com o paciente na AACD. Inicialmente, a musicoterapeuta mostrou o modo de interao com o GenVirtual, obstruindo os marcadores com as mos, e em seguida solicitou ao paciente que fizesse os movimentos por ela apresentados.

Figura 15: Testes com a mo direita do paciente.

7. CONCLUSES E PERSPECTIVAS FUTURAS

Os testes preliminares com uma criana portadora de Paralisia Cerebral mostraram que o GenVirtual pode estar a servio de intervenes teraputicas por contemplar o aprendizado cognitivo, motor, psicolgico-social, alm de estimular a musicalidade. Dado que se baseia em plataforma computacional convencional, o GenVirtual j est em condies de ser utilizado em ambiente domiciliar, com o objetivo de integrar a famlia em atividades de assistncia

Figura 14: Testes com o GenVirtual com paciente com Paralisia Cerebral.

O objetivo do planejamento motor linear para este paciente, era estimular o movimento ativo pendular para os

16

GenVirtual: um Jogo Musical para Reabilitao de Indivduos com Necessidades Especiais

Revista Brasileira de Informtica na Educao Volume 16 - Nmero 1 - Janeiro a Abril de 2008

domiciliar focando na manuteno motora e cognitiva de indivduos com necessidades especiais, contribuindo para a melhoria de sua qualidade de vida. O conceito de qualidade de vida mais utilizado o da Organizao Mundial da Sade [16] que descreve: sade no s a ausncia de doena mas a percepo individual de um completo bem estar fsico, mental e social. Encontrou-se na literatura outras dimenses envolvidas para conceituar qualidade de vida. Os cinco maiores domnios considerados pelos autores so: estado fsico e psicolgico, interaes sociais e fatores econmicos, estado espiritual ou religioso. Portanto, a qualidade de vida estaria diretamente relacionada ao bem estar e satisfao nestes grandes domnios [17]. Na continuidade deste trabalho, pretende-se efetuar mais iteraes no ciclo de prototipao adotado para o software GenVirtual e prosseguir realizando testes de usabilidade. Caso esses testes sejam satisfatrios, ser

definido um protocolo de tratamento usando o GenVirtual com pacientes da AACD com diferentes nveis de dficits cognitivos e motores. Neste protocolo sero definidos o nmero de intervenes, freqncia e durao das mesmas e como ser feita a avaliao da eficcia do tratamento. Os resultados dos testes sero analisados, comparados e discutidos para futuras publicaes. Pretende-se investigar questes relativas ao aproveitamento adequado dos resultados das avaliaes de cada prottipo no projeto, para o aprimoramento contnuo do sistema aqui apresentado. Pretende-se tambm criar novos cenrios para que o paciente possa se envolver em atividades de criao, improvisao e reproduo musical tais como, composio e reproduo de melodias, escuta sonora e musical, alm de jogos de improvisao e o atual jogo de memria musical GenVirtual, bem como a observao o registro e a avaliao das atividades por um especialista qualificado.

REFERNCIAS
[1] C. A. Dainese, T. R. Garbin, C. Kirner, R. San-tin. Aplicaes Multimdia com Realidade Au-mentada. In: Tecnologias, Aplicaes e Metodo-logias para Web e para Sistemas Multimdia. 1 ed., Minas Gerais, v. 3, pginas 31-60, 2005. [2] R. M. E. Costa, L. A. V. Carvalho, O uso de jogos digitais na Reabilitao Cognitiva. In: Workshop de Jogos Digitais na Educao, Mi-nas Gerais, pginas 19-21, 2005. [3] R. Rieder, E. Zanelatto, J. Brancher. Observao e anlise da aplicao de jogos educacionais bidimensionais em um ambiente aberto. Journal of Computer Science, vol 4, n. 2, pginas.63-71, 2005. [4] E. R. Zorzal, A. Cardoso, C. Kirner, E. Lamou-nier. Realidade Aumentada Aplicada em Jogos Educacionais. In: V Workshop de Educao em Computao e Informtica do Estado de Minas Gerais, Minas Gerais, 2006. [5] R. Tori C. Kirner, R. Siscouto. Fundamentos e Tecnologia de Realidade Virtual e Aumentada. In: VIII Symposium on Virtual Reality. Par, pginas 22-38, 2006. [6] R. T. Azuma. Recent Advances in Augmented Reality. In: Presence Teleoperators and Virtual Environments. In: IEEE Computer Graphics and Applications, v .21, n.6, pginas 355-385, 2001. [7] P. Milgram, H. Takemura, A. Utsumi, F. Ki-shino, Augmented Reality: A Class of Displays on the RealityVirtuality Continuum. SPIE Vol. 2351, Telemanipulator and Telepresence Tech-nologies, pginas 282-292, 1994. [8] T. R. Garbin, C. A. Dainese, C. Kirner. Sistema de Realidade Aumentada para trabalho com Crianas Portadoras de Necessidades Especiais. In: Fundamentos e Tecnologia de Realidade Virtual e Aumentada. Livro do Pr-Simpsio VIII Symposium Virtual Reality, Par, pginas 289-296, 2006. [9] C. Geiger, T. Schmidt, J. Stocklein. Rapid De-velopment of Expressive AR Applications. In: International Symposium on Mixed and Aug-mented Reality (ISMAR), USA, pginas 292- 293, 2006. [10] C. Kirner, E. R. Zorzal, T. G. Kirner. Case Stud-ies on the Development of Games Using Aug-mented Reality. In: IEEE International Confer-ence on Systems, Man, and Cybernetics, Taiwan, pginas 1636-1641, 2006. [11] E. R. Zorzal, A. A. B.Buccioli, C. Kirner. O uso da Realidade Aumentada no Aprendizado Musi-cal. In: Workshop de Aplicaes de Realidade Virtual, Minas Gerais, 2005. [12] A. Bobath. A deficincia motora em pacientes com paralisia cerebral. Editora Manole, So Paulo, 1989. [13] A. M. C. Souza, I. Ferraretto. Paralisia cerebral: aspectos prticos. Editora Memnon, 2 ed., So Paulo, 1998. [14] L. Manuila, M. Nicoulin A. Manuila. Dicionrio medico Andrei. Editora Andrei, So Paulo, 1997. [15] K. Yokochi, K. Aiba, K. Inukai, S. Fujimoto, M. Kodama, K. Kodama. Magnetic resonance imag-ing in children with spastic diplegia: correlation with the severity of their motor and mental ab-normality. Develop Med Child Neurol. Vol 33, pginas 18-25, 2001. [16] World Health Organization. Acessed in January of 2007. Disponibilized in: http://www.who.int/en [17] J. A. Levy. Reabilitao em doenas neurolgi-cas. Editora atheneu, So Paulo, 2003.

17