Universidade Federal de Uberlndia Faculdade de Engenharia Eltrica

Laboratrio Realidade Virtual e Aumentada (GRVA) http://www.compgraf.ufu.br/

Plano de Trabalho do Aluno

PROGRAMA INSTITUCIONAL DE BOLSAS DE INICIAO CIENTFICA PIBIC/FAPEMIG/UFU Edital 05/2009 PROPP

Sistema de Simulao de Prteses Virtuais de Membros Superiores Usando Tcnicas de Realidade Aumentada via Internet

Lucas Abraho Correia

Uberlndia-MG, Maro/2010

1. Ttulo
Sistema de Simulao de Prteses Virtuais de Membros Superiores Usando Tcnicas de Realidade Aumentada via Internet

2. Introduo
No campo da Sade, a tecnologia desenvolvida em simulao cresce cada vez mais para que estudantes e profissionais aprendam procedimentos cirrgicos os mais diversos. Esta tendncia mundial tem contribudo significativamente para que erros potenciais sejam evitados durante procedimentos invasivos, desconfortos do paciente, e maior risco inerente ao procedimento realizado [COLT ET. AL., 2001]. Recentemente, a simulao de prteses sintticas para pacientes amputados ou com deformao congnita tem recebido especial ateno [SOARES ET AL., 2008]. Uma ferramenta muito utilizada nestes simuladores a Realidade Virtual. De fato, cada vez mais comum o uso de ambientes virtuais associados ao tratamento reabilitador tanto cognitivo quanto motor, substituindo aos poucos os procedimentos convencionais de tratamento [RIZZO, 2008]. O termo Realidade Virtual (RV) foi criado para definir os ambientes virtuais desenvolvidos com o uso de alta tecnologia para convencer o usurio que ele se encontra em outra realidade. Podese dizer que se trata de uma avanada interface homem-mquina que simula um ambiente real. Refere-se tambm a uma experincia de imerso e interao baseadas em imagens grficas tridimensionais, geradas por computador. A Realidade Virtual envolve trs conceitos [KIRNER E TORI, 2004], [CARDOSO et. al., 2007]: 1) Imerso mental: que acontece quando se olha uma imagem tridimensional em uma tela e imerso fsica: que requer o uso de perifricos sofisticados como capacetes estereoscpicos e datagloves (luvas de controle), que do a impresso de se ter passado atravs do espelho da tela. 2) Navegao que a capacidade de se mover e de se encontrar no universo Virtual. 3) Interao que a possibilidade de interagir com a imagem e manipul-la como se fosse matria. A fim de ilustrar este conceito, note na Figura 1a um usurio em um laboratrio com um equipamento multisensorial (capacete HMD) e que atravs de tcnicas de Realidade Virtual, transportado para um ambiente virtual similar ao de uma cozinha (Figura 1b). Nos ltimos anos, outra tecnologia que tem apresentado destaque, associado ao crescimento da Realidade Virtual a Realidade Aumentada (RA). Esta tecnologia permite a insero de objetos virtuais no ambiente fsico, mostrada ao usurio, em tempo real, com o apoio de algum dispositivo tecnolgico, usando a interface do ambiente real, adaptada para visualizar e manipular os objetos reais e virtuais [KIRNER E KIRNER, 2007].

Figura 1 (a) Usurio em laboratrio usando capacete HMD (b) Ambiente virtual no qual o usurio est imerso

Pode-se assim oferecer informaes sensitivas mais ricas, facilitando a associao e a reexo sobre o tema que est sendo ensinado possibilitando que o usurio possa lidar de forma mais confortvel com conceitos abstratos e contra-intuitivos [FILHOAIS AND TRINDADE, 2003]. Este conceito ilustrado na Figura 2 onde onde um engenheiro pode visualizar as camadas de temperatura numa pea com tcnicas de RA.

(a)

(b)

Figura 2 (a) colocando um marcador em um sistema e (b) visualizando a malha de elementos finitos para o estudo particular de anlises de temperatura [WEIDLICHET. et. al. 2008].

2.2 Identificao e caracterizao do problema

Inspirados pelo avano das tcnicas de RA na Medicina e Sade, pesquisadores dos laboratrios de Realidade Virtual e Aumentada e Engenharia Biomdica da FEELT/UFU desenvolveram recentemente um ambiente virtual para o treinamento de prteses virtuais. Neste trabalho, sinais eltricos emitidos por partes restantes de msculos de amputados (conhecidos como sinais EMG) so captados e interpretados por uma rede neural artificial a fim de identificar o tipo de movimento associado ao brao do paciente. Estes sinais so armazenados em um arquivo e enviados para um sistema que disponibiliza um ambiente de Realidade Virtual

e um ambiente de Realidade Aumentada para simulao dos movimentos intencionados pelo msculo. No ambiente de RA uma prtese virtual posicionada na parte restante do membro superior amputado e simula o movimento de uma prtese real. Um dos grandes objetivos deste trabalho contribuir para o treinamento de pacientes amputados em suas primeiras fases, j que tcnicas tradicionais tm se mostrado razoavelmente frustrante para os mesmos. A Figura 3 apresenta uma demonstrao dos ambientes de RV ( direita) e RA ( esquerda). Neste exemplo, uma animao do movimento de flexo apresentada aps a leitura dos sinais EMG coletados e classificados. Outros tipos de movimento como extenso, pronao e supinao so tambm identificados. Mais detalhes sobre a evoluo deste projeto de pesquisa, incluindo a arquitetura do sistema e o processo de coleta, classificao e identificao dos sinais EMG, podem ser encontrados em [ANDRADE, 2000], [LAMOUNIER JR. ET AL, 2002] e [SOARES ET. AL, 2008].

Figura 3 Frames de ambientes de RA e RV exibindo o movimento de Flexo

Entretanto, o atual sistema de RA, que possibilita o treinamento virtual pelo paciente de forma mais natural e intuitiva, somente capaz de ser executado em computadores de mesa (conhecidos como desktops). Isto porque o sistema gerenciador do ambiente RA (conhecido como ARToolKit e explicado na prxima seo) foi projetado para trabalhar nesta plataforma. Isto traz uma srie de limitaes tais como: 1) Dependncia de sistema operacional, isto , caso o usurio queira treinar em casa (gozando de privacidade, tempo e conforto elementos considerados importantes em seu tratamento, principalmente, no aspecto psicolgico), dever preparar sua mquina para trabalhar no sistema operacional requerido. Imagine se este paciente tivesse sua vida profissional gerenciada por aplicativos de um sistema operacional diferente, antes de seu acidente! 2) Dependncia da instalao fsica (in loco) de programas especializados caracterstica comum de aplicativos dependentes de sistema operacional. 3) Limitao de uso do ambiente de treinamento. Isto , caso o paciente queira, por exemplo, viajar de frias e dedicar algumas horas de treinamento, dever obrigatoriamente levar todo o aparato computacional consigo!

Assim, seria muito interessante que o paciente tivesse a flexibilidade de ter acesso ao seu ambiente de treinamento a qualquer hora e em qualquer lugar e ainda estar independente de seu prprio computador.

3 Objetivo
O principal objetivo deste projeto investigar tcnicas computacionais que permitam a elaborao de um ambiente virtual de RA que d flexibilidade e independncia ao paciente amputado de ter acesso ao seu treinamento. importante que o foco deste seja apenas no ambiente de treinamento, e no nos aparatos tecnolgicos que suportem o mesmo. A prxima questo apresenta uma proposta de soluo para este problema e identifica alguns fundamentos tecnolgicos de apoio a esta proposta.

4 Justificativas e fundamentaes
Como mencionado na seo anterior, importante que um paciente tenha liberdade do uso do ambiente virtual de treinamento sem estar dependentes de tempo e espao, ou, seja, que ele possa trabalhar a qualquer hora e em qualquer lugar. Uma tecnologia que permite esta flexibilidade a arquitetura Internet, pela simples razo pela qual a mesma foi projetada (anytime, anywhere), ela permite que o usurio tenha acesso a aplicativos diversos, independente de sistemas operacionais e aplicativos especficos. Basta apenas que o usurio tenha acesso a um Web browser. Nas sees seguintes, so apresentados os fundamentos tecnolgicos que conduziram o foco desta pesquisa para a migrao do ambiente de RA desktop para a tecnologia Internet.

4.3.1 ARToolKit
um sistema providencia tcnicas de Viso Computacional para calcular a posio e orientao de uma cmara em relao a marcas (em cartes), para que objetos virtuais em 3D possam ser sobrepostos precisamente atravs das marcas. Primeiro, a imagem real de vdeo transformada em imagem binria. Esta imagem depois analisada, de forma a encontrar regies quadradas na cena real. O ARToolkit encontra todos os quadrados na imagem binria. Para cada quadrado, o padro dentro do quadrado capturado e comparado novamente com padres prcadastrados [LAMB, 2009]. Numa segunda fase, o ARToolKit usa o tamanho do quadrado reconhecido e a orientao de padres para calcular a posio da cmara de vdeo real em relao marca fsica. Uma matriz preenchida com as coordenadas em relao ao carto da cmera real. Uma vez que as coordenadas da cmara real e virtual so as mesmas, os grficos que so desenhados

sobrepem precisamente s marcas reais. Todo processo de funcionamento do ARToolKit pode ser visualizado na Figura 4.

Figura 4 Esquema de funcionamento do ARToolKit

4.3.2 FLARToolKit
Um significativa limitao do ARToolKit sua dependncia de dispositivos conhecidos como desktops (computadores de mesa). Isto significa que para um paciente ou usurio usar o ambiente de treinamento, seu computador estar limitado a um nico tipo de sistema operacional (MS Windows, Linux etc.) e todo o software necessrio para o funcionamento do ARToolKit tem que estar instalado em sua prpria mquina. Alm disso, onde quer que o usurio queira utilizar o sistema, ele dever transportar todo seu maquinrio ou re-instalar todo o software em outra computador de mesa. Outra denominao dada para este tipo de trabalho arquitetura em duas camadas. Tudo ficaria mais fcil se ele pudesse usar o sistema a qualquer hora, em qualquer lugar e sem dependncia de sistemas operacionais e re-instalao de software este o princpio da Internet! Recentemente, foi desenvolvida uma tecnologia que suporta a portabilidade do ARToolKit para o Adobe Flash , trazendo assim Realidade Aumentada para um Web browser. Esta tecnologia conhecida como FLARToolKit. Todos os princpios de funcionamento do ARToolKit foram preservados, com a vantagem de que agora o usurio precisa apenas ter acesso Internet (tambm conhecida como arquitetura em trs camadas) e uma webcam (a maioria dos notebooks hoje j so comercializados com as mesmas embutidas). Toda a independncia de sistemas operacionais e de software de instalao garantida.

4.2.3 Arquitetura desktop versus arquitetura Internet

Essencialmente, a diferena entre a arquitetura desktop (duas camadas) e a arquitetura Internet (trs camadas) est na distribuio de seu software. No modelo 2 camadas, a interface de acesso ao usurio e o aplicativo computacional ficam instalados em um mesmo bloco, enquanto os dados ficam armazenados em um outro bloco (arquivo ou banco de dados). Isto significa que: 1) Atualizaes no aplicativo implicam no deslocamento fsico de um profissional para re-instalao de novas verses na mquina do cliente. 2) A interface de acesso ao aplicativo dependente da tecnologia de desenvolvimento do mesmo (sistema operacional, linguagens de programao etc.). Na arquitetura Internet (3 camadas), o bloco de controle de aplicativos retirado da mquina do cliente e colocado em um outro bloco, conhecido como Servidor de Aplicaes. Estes se comunicam atravs de instalao de redes fsicas de computadores. Como conseqncias disto, as atualizaes so feitas apenas no Servidor de Aplicaes, liberando o computador cliente de necessidade de instalao fsica in loco. Para tanto, a tecnologia de acesso a aplicaes via Web browsers foi desenvolvida independente de sistemas operacionais o que hoje permite uma grande flexibilidade de acesso s aplicaes por parte dos clientes.

5 Metodologia
O Grupo de Realidade Virtual e Aumentada da UFU (GRVA/UFU) tem recentemente adotado uma metodologia de desenvolvimento baseada em processos geis [BECK et. al., 2001]. Inspirado no mtodo gil XP ( eXtreme Programming), considerado como iterativo e incremental [BECK, 2004], o GRV/UFU projetou e adotou o processo de desenvolvimento representado pela Figura 6. As principais atividades desta metodologia, quando comparadas a metodologias tradicionais so Spike de Arquitetura e Requisitos de Interatividade, aqui explicadas. Mais detalhes da mesma podem ser encontrados em [MATTIOLI et. al., 2009]. Apenas destacamos que os testes sero feitos com usurios saudveis. Testes com pacientes em potencial sero feitos em um outro estgio deste projeto de pesquisa.

Figura 6 Metodologia de desenvolvimento gil adotado pelo GRV/UFU

5.1. Spike de arquitetura

O spike de arquitetura consiste em uma anlise da viabilidade de implementao dos novos requisitos, obtidos a partir das histrias de usurio e dos storyboards. Esta etapa tem como objetivo reduzir os riscos presentes em reas desconhecidas nos domnios da aplicao, tecnologia e do sistema propriamente dito. Do spike de arquitetura resulta a definio da metfora, que ser utilizada pela equipe de desenvolvimento para representar o sistema. No spike de arquitetura ocorre essencialmente a explorao dos recursos disponveis para a implementao dos requisitos da aplicao. A importncia desta abordagem na construo de SRVAs est na existncia de uma etapa dentro do processo de desenvolvimento que permite e incentiva a experimentao, fator de grande importncia e constante utilizao na modelagem de objetos e cenrios virtuais. Este mdulo, juntamente com os requisitos de interatividade, est fortemente relacionado aos avanos tecnolgicos em RV.

5. 2. Requisitos de interatividade
A interatividade constitui o elemento central de diversos sistemas de Realidade Virtual e Aumentada, exercendo um papel de fundamental importncia na determinao da usabilidade destes sistemas. Sendo assim, a anlise detalhada e definio dos requisitos de interatividade, que esto intimamente relacionados crescente tecnologia em ambientes de RV e RA, ocupa uma posio estratgica dentro do processo de desenvolvimento de SRVA adotado.

6. Plano de atividades e cronograma

Este projeto ser executado num perodo de 12 meses, visando possibilidade de acesso e facilidade de uso do ambiente de treinamento em qualquer hora e em qualquer lugar suporte tecnologia Internet. A Tabela 1 apresenta uma descrio do plano de atividades para alcanar este objetivo.

Tabela 1 Plano de atividades

Nmero Atividade 1 Atividade 2 Descrio Levantamento bibliogrfico e estudo do software e hardware necessrios para o desenvolvimento do sistema de RA na plataforma Internet (Spike de arquitetura). Especificao dos requisitos funcionais do sistema e modelagem dos principais mdulos do ambiente RA via Web (Requisitos de interatividade e planejamento da Atividade 3 Atividade 4 iterao). Desenvolvimento de bibliotecas de visualizao de modelos de prteses virtuais associado ao refinamento de modelos existentes (Desenvolvimento). Criao de prottipo de uma interface (GUI Graphical User Interface), para visualizao e controle da prtese virtual por meio de um Web browser Atividade 5 Atividade 6 (Desenvolvimento). Desenvolvimento de mdulos de integrao entre e o Web browser e a camada do servidor de aplicaes (Desenvolvimento). Testes com diferentes usurios para avaliao e deteco de possveis limitaes. O escopo de aplicao deste projeto se limita a testes com usurios comuns, saudveis e Atividade 7 Atividade 8 no com potenciais pacientes (Testes). Re-alimentao dos mdulos/requerimentos de acordo com as limitaes

identificadas no item anterior (Iterativo e incremental). Elaborao de artigos e do relatrio final.

A Tabela 2 abaixo apresenta o cronograma de execuo das atividades do projeto listadas acima, distribudos de forma trimestral ao longo de 12 meses (Maro 2010-Fevereiro 2011). Tabela 2 Distribuio das atividades nos meses do projeto.

Atividade 03/10 04/10 05/10 06/10 07/10 08/10 09/10 10/10 11/10 12/10 01/11 02/11 1 2 3 4 5 6 7 8 Referncias Bibliogrficas
ANDRADE, Adriano de Oliveira; Metodologia para Classificao de Sinais EMG no Controle de Membros Artificiais. Uberlndia: Universidade Federal de Uberlndia, Dissertao de Mestrado, 2000. BECK, K.; Programao extrema explicada: acolha as mudanas. Bookman, Porto Alegre, 2004.

BECK, K., EL AL.; Manifestofor agile software development. em:<http://www.agilemanifesto.org>, 2001. Acesso em: 25mar. 2009.

Disponvel

CARDOSO, A.; KIRNER, C.; LAMOUNIER, E. e KELNER, J.; Tecnologias para o desenvolvimento de sistemas de realidade virtual e aumentada, Editora Universitria da UFPE, 2007. COLT, H; CROWFORD, S. and GALBRAITH, O.; Virtual reality broncoscopy simulation- A revolution in procedural training, Chest, 2001, 120: 1333-1339. FILHOAIS, C. and TRINDADE, J.; Fsica no computador: O computador como uma ferramenta no ensino e na aprendizagem das cincias fsicas. Revista Brasileira de Ensino de Fsica, No. 25, 2003. KIRNER, C. e TORI, R.; Introduo Realidade Virtual, Realidade Misturada e HiperRealidade. In: (Ed.). Realidade Virtual: Conceitos, Tecnologia e Tendncias. So Paulo, 2004. Introduo Realidade Virtual, Realidade Misturada e Hiper-Realidade, p.3-20 KIRNER, C.; KIRNER, T.G.; Virtual Reality and Augmented Reality Applied to Simulation Visualization. In: El Sheikh, A.A.R.; Al Ajeeli, A.; Abu-Taieh, E.M.O. (Org.). Simulation and Modeling: Current Technologies and Applications. 1 ed. Hershey-NY: IGI Publishing, 2007, v. 1, p. 391-419. LAMB, P. ARToolKit Home Page, Documentation, Tutorials. http://www.hitl.washington.edu/artoolkit/documentation/tutorialhistory.htm Acesso em 10 de Setembro de 2009. LAMOUNIER JNIOR, E. A. ; SOARES, Alcimar ; ANDRADE, A. ; CARRIJO, R. . A Virtual Prosthesis Control Based on Neural Networks for EMG Pattern Classification. In: ASC, 2002, Banff. Proceedings of the Sixth IASTED International Conference on Artificial Intelligence and Soft Computing. p. 425-430. (Best Paper Award). RIZZO, A.A., communications: Virtual Reality in Physichology and Rehabilitation: The Last Ten years and Next. VRIC - 2008 Symposium, 2008. SOARES, Alcimar ; LAMOUNIER JNIOR, E. A. ; LOPES, Kenedy ; ANDRADE, A. AUGMENTED REALITY: A TOOL FOR MYOELECTRIC PROSTHESES. In: ISEK 2008, 2008, Niagara Fall, Canada. XVIIth Congress of the International Society of Electrophysiology and Kinesiology, 2008. v. 1. WEIDLICH, D., Scherer, S. and WABNER, M.; Analyses Using VR/AR Visualization, IEEE Computer Graphics and Visualization, pp.84-86, September/October 2008.