Sistema para La Rehabilitación Oral y Auditiva

2o Congreso Universitario en Tecnologas de Informacin y Comunicaciones 2007. Memorias del Evanto con ISBN: 970-769-101-8.
Universidad Autnoma del Estado de Hidalgo, Pachuca, Hidalgo, Mxico. 24 al 26 de Abril del 2007.
Sistema para la Rehabilitacin Oral y Auditiva SIRO 1.0 Basado en Tecnologa de Realidad Virtual
Omar Arturo Domnguez Ramrez, Arturo Austria Cornejo, Edgar David Carrillo Gonzlez, Mariano Javier Pozas Crdenas, Martha Idalid Rivera Gonzlez, Arturo Curiel Anaya y Josu Enrquez Zrate* Universidad Autnoma del Estado de Hidalgo Centro de Investigacin en Tecnologas de Informacin y Sistemas Carretera Pachuca-Tulancingo Km 4.5, Pachuca, Hidalgo, Mxico e-mail: omar@uaeh.reduaeh.mx, omar@uaeh.edu.mx. * Universidad Nacional Autnoma de Mxico Centro de Ciencias Aplicadas y Desarrollo Tecnolgico Laboratorio de Micromecnica y Mecatrnica Circuito Exterior S/N. Cd Universitaria C.P. 04510. Mxico, D.F.
Resumen: El presente artculo da a conocer el diseo y desarrollo de un sistema de interaccin hombre mquina virtual mediante el uso de una interfaz humana P5Glove. La interfaz se relaciona en forma directa con un programa de computo que permite el control de un objeto tridimensional asociado al P5 Glove (guante de realidad virtual), el cual captura el lenguaje de smbolos universal a travs de los movimientos armnicos de la mano del usuario, implementando algoritmos que utilicen agentes de voz para traducir los valores capturados en el escenario tridimensional y que permitan la reproduccin a travs de un sintetizador del idioma ingles o espaol a partir del lenguaje de smbolos universal utilizado. [1], [2],[3]. Palabras clave: Realidad virtual, robtica, discapacidad oral y auditiva, interaccin hombre-mquina, P5Glove, Java 3D, cinemtica. 1. Introduccin Este artculo presenta la integracin de tcnicas de programacin en 3D, dispositivos de realidad virtual y agentes de voz, herramientas que permiten generar una aplicacin como alternativa para las personas con discapacidad oral y auditiva, utilizando el lenguaje de smbolos universal para su traduccin al lenguaje ingles o espaol.
2o Congreso Universitario en Tecnologas de Informacin y Comunicaciones 2007. Memorias del Evanto con ISBN: 970-769-101-8. Universidad Autnoma del Estado de Hidalgo, Pachuca, Hidalgo, Mxico. 24 al 26 de Abril del 2007.
Este informe esta organizado en 18 secciones, que reportan la integracin de los diferentes subsistemas que integran al sistema de rehabilitacin oral y auditiva SIRO 1.0, as como las referencias consultadas y que fueron de utilidad para el buen trmino de este trabajo de investigacin. 2. Antecedentes La comunicacin oral es una de las capacidades esenciales y bsicas del ser humano, es la forma ms utilizada e importante que existe para intercambiar informacin. Las ondas sonoras generadas por el habla transportan informacin lingstica, provocando que el habla juegue un rol importante en nuestras vidas. Sin embargo, en el ao 2002 en un censo realizado por el INEGI se encontr que existe un milln setecientos noventa y cinco mil personas con discapacidad y que aproximadamente el 20% de estas personas padecen de alguna discapacidad auditiva o de habla. Este tipo de personas requieren valerse de alguna tcnica para poder comunicar sus ideas a los dems, entre estas tcnicas podemos mencionar el lenguaje de signos o emplear algn mtodo para reproducir voz en forma artificial. En Mxico pocas personas con esta discapacidad llegan a ser profesionistas, pues se les ha brindado un sistema educativo deficiente con limitadas oportunidades de desarrollarse tanto personal como profesionalmente. Adems, la ignorancia y prejuicios de la poblacin en general limitan su posibilidad de encontrar un empleo. Un estudio realizado en Centros de Atencin Mltiple (CAM) y en Unidades de Servicio de Apoyo a la Educacin Regular (USAER) de Mxico, mostraron que nicamente el 37% de los alumnos reciben el servicio complementario de terapia del lenguaje como apoyo a la comunicacin oral [2]. Afortunadamente, la tecnologa permite desarrollar herramientas que ayudan a personas con discapacidades de este tipo. Este trabajo de investigacin propone crear una aplicacin de software, basado en el reconocimiento de valores de posicionamiento de un ambiente virtual en donde el usuario utilice el lenguaje de smbolos y a travs de un guante virtual los valores de posicionamiento de la mano del usuario sean traducidos en voz a algn idioma (ingles y espaol). [1] El inicio de las investigaciones en el rea de la reproduccin de voz en forma artificial se da con el desarrollo de sintetizadores mecnicos
de voz a finales del siglo XVIII, a mediados del siglo XIX se desarrollaron mecanismos que producan vibraciones vocales. Como estos, vendran muchos tipos de sintetizadores que tomaban la idea de sustituir el tracto vocal por su equivalente mecnico o elctrico [3]. La reproduccin de voz artificial ha tenido una gran evolucin en las ltimas dcadas gracias a los avances tecnolgicos y computacionales, es entonces razonable esperar el hecho de que la informacin que proporcionan las maquinas a los usuarios pueda ser transmitida en forma mas eficiente va voz en lugar de utilizar medios como luces, sonidos o pantallas de texto [4]. La forma mas simple de producir voz en forma artificial es reproducir ejemplos de voz natural pregrabada. Este mtodo proporciona alta calidad y naturalidad, pero tiene un vocabulario limitado y usualmente solo se puede reproducir una sola voz [5]. Otro mtodo frecuentemente utilizado es el de sntesis articulatoria el cual simula de forma directa o indirecta los movimientos del tracto vocal para producir los sonidos. Un tercer mtodo es el sintetizador de texto a voz, el cual construye la voz utilizando pequeas unidades de voz almacenadas y un procesamiento lingstico [6]. La produccin de voz mediante un sintetizador de texto a voz ofrece la ventaja de que se puede sintetizar cualquier frase o palabra, actualmente existen sintetizadores de texto a voz de muy alta comprensibilidad, calidad y naturalidad del sonido de salida. La calidad de los nuevos sintetizadores ha alcanzado un nivel adecuado para algunas aplicaciones tales como multimedia, telecomunicaciones, ayuda para personas discapacitadas, aplicaciones para ciegos y aplicaciones educativas [7]. 3. Justificacin Este trabajo de investigacin propone desarrollar una interfaz basada en algoritmos computacionales que permitan leer los valores de posicionamiento de las manos a travs de un dispositivo de realidad virtual (guante de realidad virtual). Estos valores obtenidos son generados por los movimientos armnicos del usuario utilizando para
ello el lenguaje de smbolos, para que posteriormente utilizando agentes de voz tengamos como resultado la voz artificial de una palabra compuesta del lenguaje de smbolos. El propsito de la integracin de esta interfaz es favorecer la calidad de vida a travs de la comunicacin entre la sociedad y las personas con discapacidad oral y auditiva. 4. Planteamiento del problema No existe una arquitectura definida para poder realizar la integracin de un escenario virtual del dispositivo de interfaz humana P5 GLOVE que permita obtener los valores de posicionamiento en un escenario virtual (caso de estudio) e implementarlos bajo un algoritmo de traduccin del lenguaje de smbolos universal a algn idioma (ingles o espaol) utilizando agentes de voz. La interfaz P5 GLOVE es un dispositivo de entrada en arquitectura cerrada, es empleado para interactuar con mundos virtuales sin comportamientos complejos, considera parcialmente la fisiologa del operador humano para la interaccin hombre mquina, adems de no existir un modelo matemtico que permita la representacin virtual exacta de posicin operacional, articular y coordenadas de orientacin representativas de la mano humana a travs de la interfaz P5 GLOVE, esta interfaz humana es empleada actualmente para transformaciones homogneas de posicin y orientacin de un objeto virtual slido 3D y no interacta con objetos virtuales con movimientos relativos entre sus componentes. 5. Solucin propuesta La propuesta de solucin esta estructurada en cuatro secciones de estudio, de la siguiente forma. En la primera seccin nos enfocaremos al anlisis y estudio de la arquitectura del dispositivo de interfaz humana P5 GLOVE, abriendo la arquitectura del guante para poder utilizar el lenguaje de programacin Java y obtener la informacin necesaria de los sensores del guante y aplicarla en un entorno virtual. En la segunda seccin analizaremos el lenguaje de smbolos que se utilizar. La tercera seccin est conformada por diseo, modelado matemtico y programacin en 3D de los eslabones y articulaciones que componen
a la mano virtual que se representar en el ambiente virtual. Para lo cual se utiliza el apoyo del lenguaje de programacin Java 3D para la manipulacin de los objetos modelados, sincronizando los valores obtenidos de la interfaz humana P5 GLOVE con los movimientos del robot virtual. En la cuarta seccin se integra el diseo y programacin del ambiente virtual con la interfaz humana P5 GLOVE y se aplica la tecnologa de agentes de voz para traducir los movimientos de la mano del operador a la voz artificial utilizando el idioma ingles o espaol. 6. Contribucin del artculo La contribucin de esta investigacin es proponer tcnicas de aplicacin de los elementos de la realidad virtual, orientados al desarrollo de una aplicacin para aquellas personas con discapacidad oral y auditiva. Aprovechando las ventajas del trabajo con tecnologa de punta (en la materia de realidad virtual) mejorando la calidad de vida en personas con esta discapacidad. 7. Plataforma experimental El Sistema para la Rehabilitacin Oral y Auditiva 1.0 (SIRO) est constituido por el P5 Glove, siendo esta una herramienta que nos permite interactuar con la realidad virtual en nuestro caso de estudio. Esta herramienta es utilizada para sincronizar los movimientos de la mano del usuario y representarlos en un ambiente virtual creado en Java3D, (ver figura 1) [8]. Utilizando los modelos matemticos correspondientes en su estudio [10], en donde posteriormente procesamos los valores de posicionamiento capturados por el guante virtual y estos valores son traducidos al idioma ingles o espaol en base al lenguaje de seas.
Figura 1. Plataforma experimental de realidad virtual. 8. Esquemas de operacin y programacin La base principal en la programacin de un entorno virtual es la representacin de los objetos a visualizar, por ello presentamos los smbolos que constituyen los diagramas de Java 3D que son utilizados en este articulo para facilitar la programacin de nuestra interfase del SIRO. Los smbolos que representamos a continuacin se estructuran de la siguiente manera: los dos primeros smbolos representan objetos de clases especificas: Universo Virtual (VirtualUniverse) y Local (Locale). Las tres siguientes clases representan objetos de grupo (Group), Hoja (Leaf) y Componente de Nodo (NodeComponent). Estos tres smbolos suelen usarse para indicar subclases de un objeto especfico. El ltimo smbolo se utiliza para representar cualquier otra clase de objeto (ver tabla 1 ).
Tabla 1. Nodes y NodeComponents (objetos). Adems de las clases de objetos se usan flechas para representar los diagramas de programacin de Java 3D. La flecha continua representa la dependencia padre - hijo (parent-child) entre dos objetos. La flecha discontinua har referencia (reference) a otro tipo de objetos. Un objeto puede hacer ms de una referencia a otros objetos de otras ramas del rbol por lo que el nmero de flechas que pueden salir de un objeto no estn limitadas a una, ver tabla 2.
Tabla 2. Flechas (relaciones entre objetos) El diagrama de la figura 2 muestra una visin global de la representacin del dedo de una mano, en l se muestra cmo est compuesta esta interfaz virtual a travs de los objetos de Java.
Figura 2. Diagrama de Escena de la representacin de un dedo de la mano humana en un escenario virtual. 9. Especificaciones tcnicas El guante est constituido por sensores que son detectados por una torre receptora de infrarrojos, el usuario mueve la mano delante de la torre receptora que captura las posiciones de los sensores, como se muestra en la figura 3.
Torre Receptora P5 Glove
|
Conexin USB
Figura 3 P5 GLOVE y torre receptora. El guante cuenta con 8 LEDs emisores que envan valores de posicionamiento en x, y y z en un espacio de un metro cbico (suficiente para la creacin de entornos virtuales a escala), estos valores permiten la ubicacin del P5 GLOVE en el espacio virtual, estos LEDs emisores de posicionamiento tambin proporcionan una orientacin en trminos de pitch, yaw, and roll con respecto a la mueca de la mano, adems cuenta con cinco sensores de fibra en cada uno de los dedos del guante que proporcionan valores de curvatura para detectar si los dedos del guante se encuentran abiertos o cerrados y por ultimo cuenta con cuatro botones en la tapa del guante(ver figuras 4 y 5).
1
3 8 Sensores de Fibra 4 7 6
Figura 4. LEDs emisores de posicionamiento y sensores de fibra.
B C D
Figura 5. Botones del P5 GLOVE.
Las especificaciones del sensor del dedo son: 0.5 grados de resolucin (en un rango de 0 a 90 grados) Las especificaciones del sistema de tracking (Captura) son: Sistema de captura ptico. 60 Hz de refresh. 6 grados de libertad (X, Y, Z, yaw, pitch y roll) Las especificaciones sobre X, Y, y Z son: 0.3175 centmetros de resolucin sobre 91.44 centmetros de alcance desde el receptor torre. 1.27 centmetros de exactitud sobre 91.44 centmetros de alcance desde el receptor torre. 10. Lenguaje de smbolos. El lenguaje de seas (Ver figura 6) se divide en un lenguaje de smbolos que es aplicado en diferentes pases. La representacin de las letras con seas es un lenguaje universal, pero las seas de palabras compuestas pueden variar de un pas a otro. El vocabulario del Lenguaje de Smbolos Mexicano (LSM) esta fuertemente influenciado con el idioma espaol. Existe un grado muy elevado de inicializacin espaola en el vocabulario del LSM. (El uso en la sea de la configuracin manual tomada del alfabeto del lenguaje de signos que corresponde a la primera letra de la palabra que se usa para explicar la sea en el lenguaje oral nacional.)
Figura 6.. Lenguaje de smbolo universal.
11. Virtualizacin La representacin virtual de la mano se lleva a cabo a partir de la estructura morfolgica de la mano humana, simulando sus articulaciones y huesos. La mano est compuesta de huesos, msculos y ligamentos que permiten una gran cantidad de movimientos y destrezas. Ver figura 7. Existen tres tipos principales de huesos en la mano, incluyendo los siguientes: Falanges: los 14 huesos que se encuentran en los dedos de cada mano y tambin en los dedos de cada pie. Cada dedo tiene tres falanges (distal, media y proximal); el pulgar tiene slo dos. Huesos metacarpianos: los cinco huesos que componen la parte media de la mano. Huesos carpianos: los ocho huesos que forman la mueca. Los huesos carpianos estn conectados a dos huesos del brazo: el cbito y el radio.
Figura 7. Estructura real y virtual de la mano humana.
12. Representacin virtual de la mano humana Una vez analizada la composicin de la mano humana podemos representarla en un ambiente virtual. Para lo cual cada uno de los dedos de la mano estarn compuestos de articulaciones y eslabones que sern controlados bajo los valores de posicionamiento que se adquieren en tiempo rea por la interfaz humana P5 Glove a travs de los sensores. (Ver figura 8).
Figura 8. Representacin virtual de la mano humana. 13. Modelos Matemticos Dentro del estudio de los movimientos referentes a los robots manipuladores, as como la forma en que podemos calcular la posicin de cada uno de los eslabones que lo componen. Estos son representados en el Modelo Cinemtico de Posicin Directa (MCPD) y que permite el clculo preciso de las coordenadas operacionales o
cartesianas de las distintas articulaciones del robot y extremo final de cada dedo, dichos modelos resultan ser tiles para definir la manipulabilidad de la mano en su conjunto. (Ver figura 9).
Figura 9. Representacin del MCPD de un dedo de la mano humana.
14. Sistema de comunicacin P5 Glove SIRO El P5 GLOVE es un dispositivo de interfaz humana utilizado para interactuar con la realidad virtual, es un guante que es utilizado por un operador humano con la mano derecha y que est constituido por un sistema de adquisicin de datos infrarrojo, que permite detectar los sensores del guante. Este sistema de adquisicin de datos del guante, tiene la compatibilidad de conexin a un computador por medio del controlador de bus serie universal denominado USB (Ver figura 10).
Figura 10. Conexin de la interfaz humana P5 Glove. La compatibilidad de conexin de la interfaz humana P5 Glove se logra a travs de la API (Application Programming Interface) java de Kenner. El controlador Kenners Dual Mode esta integrado por: P5DLL.dll, CP5DLL.java y CP5DLL.JAR.
La clase CP5DLL consiste en constantes, variables, y mtodos pblicos numerosos, y est constituida por tres clases internas: P5Data, P5Info, y P5State (segn lo ilustrado en la figura 11). La clase P5Data tiene la compatibilidad con controladores en versiones anteriores desarrollados por la empresa Essential Reality; las clases P5Info y P5State contienen las funciones de operacin soportadas por el guante.
Figura 11. Clases internas del P5 GLOVE: P5Data, P5Info y P5State. 15. Integracin del sistema Una vez generada la interfaz virtual de la mano humana y sincronizada con el guante de realidad virtual P5 Glove, se realiza la programacin de los movimientos de los valores proporcionados por la posicin de la mano del usuario. Para que posteriormente sean desarrollados los programas que identifiquen los movimientos de la mano que utilizaran los agentes de voz, como se muestra en la figura 12.
Figura 12.Integracin del SIRO.
16. Conclusiones La representacin de la mano humana a travs de la realidad virtual proporciona una herramienta de investigacin cientfica muy importante en el impacto de la robtica y sus diversos sectores de nuestra sociedad sobre todo en aquellos donde existen limitaciones, como las descritas en este informe de investigacin. La integracin de subsistemas electromecnicos, percepcin propioceptiva y exteroceptiva, de comunicacin y decisin, ha sido presentada a lo largo de este artculo, describiendo con ello una metodologa en al mbito de la mecatrnica y cuyos propsitos intentan resolver problemticas mdicas como lo es la rehabilitacin oral y auditiva. 17. Perspectivas Este proyecto de investigacin nos abre las puertas a utilizar nuevas tecnologas de guantes de realidad virtual que son utilizados como herramientas para la manipulacin de ambientes virtuales. [11], [12].|Algunas de sus propiedades en las cuales desarrollaremos mas investigacin son las siguientes (Ver figura 13). Posicionamiento, abduccin, mayor exactitud y sistemas inalmbricos. Sensores de deteccin de contacto Interfaz hptica .
Figura 13. Guantes de realidad virtual.
18. Bibliografa [1] S. Sidney Fels and Geoffrey E. Hinton. Glove-TalkIIA NeuralNetwork Interface which Maps Gestures to Parallel Formant Speech Synthesizer Controls. IEEE Transactions on Neural Networks, Vol. 9, No. 1, January 1998. [2] Wu jiangqin Gao wen Song yibo Liu wei Pang bo. A Simple Sign Language Recognition System based on data Glove. Proceedings of ICSP 98. [3] Syed AtifMehdi, Yasir Niaz Khan. Sign Language Recognition using sensor Gloves. Proceedings of the 9th International Conference on Neural Information Processing (ICONIP02), Vol. 5. [9] S.Oda, M.Kyoso, A.Uchiyama, A.Takatsu, A.Hattori, N.Suzuki. Development of a glove-type interface for data manipulation of the virtual environment in the operating room. Proceedings of the 20th Annual International Conference of the ZEEE Engineering in Medicine and Biology Society, Vol. 20, No 3,1998. [10] Yu Su, Charles R. Allen, David Geng, David Burn, Una Brechany, G. Duncan Bell, and Roger Rowland. 3-D Motion System (Data-Gloves):Application for Parkinsons Disease. IEEE Transactions on Instrumentation and Measurement, Vol. 52, No. 3, June 2003. [11] F. Axisa, C. Gehin, G. Delhomme, C. Collet, O. Robin, A Dittmar. Wrist Ambulatory Monitoring System and Smart Glove for Real TimeEmotional, Sensorial and Physiological Analysis. Proceedings of the 26th Annual International Conference of the IEEE EMBS San Francisco, CA, USA September 1-5, 2004. [12] V. Popescu, G. Burdea, and M. Bouzit. Virtual Reality Simulation Modeling for a Haptic Glove.

Sistema para La Rehabilitación Oral y Auditiva

Caricato da

Informazioni sul documento

Descrizione originale:

Titolo originale

Copyright

Formati disponibili

Condividi questo documento

Condividi o incorpora il documento

Opzioni di condivisione

Hai trovato utile questo documento?

Questo contenuto è inappropriato?

Copyright:

Formati disponibili

Sistema para La Rehabilitación Oral y Auditiva

Caricato da

Copyright:

Formati disponibili

2o Congreso Universitario en Tecnologas de Informacin y Comunicaciones 2007. Memorias del Evanto con ISBN: 970-769-101-8.

Torre Receptora P5 Glove

Figura 4. LEDs emisores de posicionamiento y sensores de fibra.

Figura 5. Botones del P5 GLOVE.

Figura 6.. Lenguaje de smbolo universal.

Figura 7. Estructura real y virtual de la mano humana.

Figura 9. Representacin del MCPD de un dedo de la mano humana.

Figura 12.Integracin del SIRO.

Figura 13. Guantes de realidad virtual.

Potrebbero piacerti anche