Documenti di Didattica
Documenti di Professioni
Documenti di Cultura
Abstract The mixed visualization will be help the maintenance systems through mixed reality techniques integrated to automation
systems. Besides, the MR will allow assist the operator during maintenance tasks in order to present the right information, right place
and right moment, in automatic way to predict failures , making possible the operator work in safe way in the mixed environment of
industrial maintenance.
Keywords Mixed and augmented reality, predictive maintenance systems, visualization processes and automation systems.
Resumo A visualizao mista ir auxiliar os sistemas de manuteno atravs de tcnicas de realidade mista (RM) integrados a sis-
temas de automao. Alm disso, a RM guiar o operador durante a tarefa de manuteno a fim de apresentar a informao certa, no
local certo e no momento certo, de maneira autnoma para a predio de falha, tornando possvel o operador trabalhar de maneira se-
gura em um ambiente misto de manuteno industrial.
Palavras-chave Realidade mista e aumentada, sistemas de manuteno preditivos, processos de visualizao e sistemas de auto-
mao.
3021
XVIII Congresso Brasileiro de Automtica / 12 a 16-setembro-2010, Bonito-MS
3022
XVIII Congresso Brasileiro de Automtica / 12 a 16-setembro-2010, Bonito-MS
de agentes de aprendizagem distribuda. O projeto de modo a facilitar o acesso por parte das equipes de
tambm implementa atravs de Realidade Virtu- manuteno. Neste sentido, para obter-se visualiza-
al/Aumentada um prottipo para uma planta indus- o mista eficiente, necessrio que a interface co-
trial com suporte a manuteno proativa avanada, munique-se com bancos de dados de forma autno-
produo sob encomenda, diagnstico de erro e to- ma.
mada de deciso.
O projeto ULTRA (Ultra Portable Augmented Rea-
lity for industrial maintenance Applications) com- 3 Implementao
posto por diversos parceiros. O projeto iniciado em
2004 objetivou desenvolver um sistema porttil apli- Tendo em vista que a soluo pretende integrar da-
cando tcnicas de realidade aumentada a handheld- dos do sistema preditivo com dados do sistema de
PCs (Tablet ou PDA). Isto forneceu uma soluo realidade mista para visualizao automatizada do
confortvel e moderada, integrando funcionalidades processo de manuteno, tem-se como entrada, os
de realidade aumentada, conexes sem fios e apoio dados CAD, PM e MR, e como sada, os servios de
remoto. visualizao para interface baseado no modelo IDM
Entre os frameworks cita-se o Studierstube, usado (Modelo Descritivo Integrado), apresentado abaixo.
para o desenvolvimento de aplicaes em AR mvel, Desta maneira, foi desenvolvida inicialmente uma
colaborativa e onipresente. O desenvolvimento da descrio conceitual para representar graficamente
plataforma Studierstube comeou na Universidade este propsito que pode ser observado na Figura 2.
de Tecnologia de Viena em 1996 (Wagner D, 2008).
Desde 2004, as principais pesquisas e atividades de
desenvolvimento so realizadas na Universidade de
Tecnologia de Graz (Schmalteig et al., 1996).
Durante a reviso do estado da arte, buscando-se
solues que utilizassem VR na automao dos pro-
cessos de manuteno atravs da visualizao, ob-
servou-se que para fins de diagnstico e prognstico,
que so o foco da manuteno inteligente, poucas
solues so encontradas. Figura 2. Descrio conceitual do modelo de automatizao do
processo de visualizao.
Alm disso, na maioria dos trabalhos encontrados
que utilizam VR na indstria as tcnicas de realida- A proposta deste trabalho visa desenvolver um mo-
de virtual so utilizadas apenas para fins de visuali- delo para automatizar a integrao de dados de for-
zao. No foram encontradas solues de visualiza- matos e origens distintas a fim de possibilitar o ge-
o que automatizassem o ambiente virtual em fun- renciamento, comunicao, interao e gerao do
o de sinais preditivos de manuteno. Ou seja, contedo virtual dinmico para interface.
uma vez criado o ambiente virtual este era armaze-
Esta proposta permitir que a visualizao mista seja
nado e apresentado durante a execuo das tarefas
modificada de acordo com o estado do modelo, sen-
sempre que fosse solicitada a visualizao.
do que a alterao em um determinado tipo de dado
Sendo assim, constatou-se que o desenvolvimento de reflete nas demais informaes relacionadas a este,
um modelo de integrao de dados heterogneos modificando seu estado.
poderia auxiliar na automatizao do contedo a ser
Para isto, o modelo ir descrever para cada compo-
visualizado de forma que os ambientes PM e MR
nente da mquina, as diferentes informaes a res-
fossem modificados de acordo com o estado das in-
peito deste componente, tais como: elementos virtu-
formaes descritas no modelo. O modelo permitir
ais; informaes do modelo CAD; sinais e dados
ainda a comunicao e a interao entre diferentes
enviados pelo sistema de manuteno preditiva.
aplicaes.
Este modelo ser nomeado Modelo Descritivo Inte-
Outra caracterstica identificada na literatura o
grado (IDM) e possibilitar que as informaes ad-
desafio de alinhamento dos ambientes virtuais e re-
vindas do modelo VIRTUAL, CAD e de SINAIS
ais, em virtude do tempo de processamento crtico
sejam descritas e relacionadas para cada componente
em processos dinmicos. A ruidez dos ambientes
e/ou mquina em questo.
industriais tais como: barulho, poeira, pouca ilumi-
O modelo IDM ser desenvolvido na linguagem
nao, campos eletromagnticos, ocluso de marca-
XML (eXtensible Markup Language), que uma
dores e rea de deslocamento na planta, so outros
linguagem de marcao para descrio hierarquiza-
aspectos a serem considerados nas decises de im-
da de componentes.
plementao.
A escolha desta linguagem permitir a facilidade de
Por fim, cabe salientar que o aumento da complexi-
compartilhamento de informaes atravs da inter-
dade dos processos e sistemas requer sistemas de
net. Alm disso, como o formato no depende das
automao com banco de dados cada vez mais efici-
plataformas de hardware ou de software, bancos de
entes, que organizem e apresentem as informaes
3023
XVIII Congresso Brasileiro de Automtica / 12 a 16-setembro-2010, Bonito-MS
dados distintos podem ler e escrever em arquivos rador e das leituras do sistema preditivo. Ou seja,
XML. atravs da plataforma Visual Studio sobre a lingua-
Outro aspecto importante a considerar a gerao gem C++, com o auxilio de bibliotecas grficas de
do modelo. Para gerar este modelo o usurio no Realidade Aumentada (ARToolkit), udio
precisar descrever textualmente o arquivo XML. O (OPENAL) e renderizao (OPENGL) foi possvel
modelo ser gerado automaticamente atravs da con- gerar o contedo virtual em tempo real.
figurao de uma interface onde o usurio seleciona A visualizao off-line consiste na visualizao das
os dados a serem integrados, tais como: o arquivo informaes vindas do sistema de manuteno predi-
CAD para extrao de informaes; os locais onde tiva e do sistema CAD. Estas informaes podem ser
esto os elementos virtuais; os dados do sistema de visualizadas de acordo com a demanda (solicitao
manuteno inteligente entre outros. do usurio) sem estarem no ambiente misto. No en-
Esta juno de dados pelo modelo descritivo permiti- tanto, estas visualizaes no so apresentadas de
r a troca de informaes e a interao entre diferen- maneira autnoma pelo sistema, e sim, utilizadas
tes sistemas, possibilitando que o ambiente virtual para a automatizao da interface mista de sistemas
envie informaes ao sistema de predio, bem co- preditivos de manuteno.
mo, analise, identifique e apresente informaes de A figura 4 representa a arquitetura de software utili-
mltiplos sensores, automatizando o processo de zada na primeira implementao. Cabe salientar que
visualizao dos sistemas de manuteno. a idia automatizar o processo de visualizao mis-
Baseado na descrio conceitual da integrao e ta atravs da descrio XML de forma a tornar este
automatizao da soluo proposta desenvolveu-se processo independente de plataformas e ferramentas.
as etapas de projeto e modelagem do sistema. A Fi-
gura 3 descreve a arquitetura de alto nvel descrita
na etapa de projeto. 4 Experimentos
3024
XVIII Congresso Brasileiro de Automtica / 12 a 16-setembro-2010, Bonito-MS
tic Pattern Recognition e Logistic Regression para mais precisa, foi apresentado um panorama do atual
cada um dos sinais: temperatura, presso e vibrao. estado da arte no que tange a estas tecnologias, foca-
A descrio hierrquica do panel visa apresentar os lizando-se nos aspectos relacionados a tcnicas e
componentes do equipamento descritos no modelo ferramentas de automao associadas a manuteno
IDM, onde ser selecionado o componente a ser ana- preditiva e a realidade mista.
lisado. Conceitos bsicos relacionados aos sistemas de ma-
A Figura 6 apresenta a implantao fsica do mdulo nuteno preditiva e sistemas de Realidade Mis-
sistema preditivo. Este experimento faz parte de um ta/Aumentada utilizados na indstria tambm foram
estudo de caso com vlvulas desenvolvidas na em- apresentados, de forma a fornecer subsdios ao en-
presa Coester, onde se utilizou o sistema IMS com tendimento da proposta inicial deste trabalho: A
dispositivo Watchdog Agent como mdulo sistema Visualizao Mista nos sistemas de Automao de
preditivo. Processos de Manuteno Preditiva de Mquinas da
Indstria.
Aps a identificao das limitaes, restries e ne-
cessidades associados a proposta foi apresentado um
conjunto de trs etapas para descrio desta soluo
na seo de implementao: descrio conceitual,
projeto e modelagem. Estas etapas pretendem des-
crever os procedimentos para visualizao de um
sistema de automao de manuteno preditiva. Res-
salta-se que atualmente no existem ferramentas
que, de forma integrada, realizem tais procedimen-
tos.
Figura 6. Mdulo do sistema preditivo.
Alguns resultados preliminares foram obtidos aps a
realizao de testes com ferramentas individuais a
Os dados analisados foram conseguidos com a colo- cada sistema para validao e entendimento do uso
cao de um basto na entrada da vlvula para simu- das mesmas.
lao de falha na abertura e fechamento. A Figura 5, A utilizao da ferramenta Watchdog Agent mos-
mostra a degradao de comportamento atravs do trou-se limitada em termos de visualizao, apresen-
grfico, com a simulao da falha, fornecido pela tando apenas arquivos de sada jpg, .m .txt e dat. O
ferramenta Watchdog Agent. ARToolkit para rastreamento com marcadores apre-
A Figura 7 apresenta um experimento com a planta sentou-se de fcil implementao e bons resultados
piloto Foundation Fieldbus. Neste experimento fo- para ambientes reais estticos e com baixo rudo. No
ram colocados marcadores para posicionamento de entanto, a necessidade de validao em ambientes de
informaes virtuais e utilizou-se a biblioteca AR- baixa iluminao e dinmicos faz-se necessria.
Toolkit para sobrepor informaes vindas dos senso- Finalmente, alm da aplicao da soluo em estu-
res de temperatura e nvel da gua. dos de caso real da indstria, estabelecem-se a ne-
cessidade de avaliar o uso de outras ferramentas e
tcnicas principalmente no que tange a Realidade
Mista. Sugere-se tambm o aprimoramento dos as-
pectos relacionados a interatividade com o uso de
dispositivos convencionais e no-convencionais para
interao, tais como: Tablet-PC e PDAs.
Agradecimentos
3025
XVIII Congresso Brasileiro de Automtica / 12 a 16-setembro-2010, Bonito-MS
Baratoff G. And Regenbrecht H., (2004). Develop- and reliability conference, Gatlinburg, USA,
ing and Applying AR Technology in Design 2001.
Production, Service, and Training, In Virtual Macchiarella M. And Vincenzi D., (2004). Aug-
and Augmented Reality Applications in Manu- mented Reality In A Learning Paradigm For
facturing, S.K. Ong and A.Y.C. Nee, eds., Flight And Aerospace Maintenance Training,
Springer, 2004, pp. 207-236. In: Digital Avionics Systems Conference, 2004.
Behringer R. et al., (1999). A distributed device di- DASC 04. The 23rd IEEE, (2004) pp. 5.D.1-
agnostics system utilizing augmented reality 5.1-9
and 3D audio, ACM Computers & Graphics, 23, Makri A., Arsenijevic D., Weidenhausen D., Eschler
pp. 821-825. P., Stricker D., Machui O., Fernandes C., Maria
Djurdjanovic D., Lee J. And Ni J. (2003). Watch- S., Voss G., Ioannidis N. "ULTRA: An Aug-
dog Agent, an infotronics-based prognostics ap- mented Reality system for handheld platforms,
proach for product performance degradation as- targeting industrial maintenance applications"
sessment and prediction. In Advanced Engineer- In:11th International Conference on Virtual
ing Informatics, 2003 - Elsevier: pp. 10925. Systems and Multimedia, Ghent, Belgium 2005.
Fiorentino, M., De Amicis, R, Monno, G., Stork, Makri A., Weidenhausen J., Eschler P., Stricker D.,
(2002). A. Spacedesign: A Mixed Reality Work- Machui O., Fernandes C., Maria S., Voss G.,
space for Aesthetic Industrial Design, Interna- Ioannidis N. ULTRA Light Augmented Reality
tional Symposium on Mixed and Augmented Mobile System In Proceedings of the Interna-
Reality ISMAR2002, pp. 86-94. tional Symposium on Mixed and Augmented
Friedrich W., Jahn D., Schmidt L., (2002), Reality (ISMAR05), 2005.
ARVIKA Augmented Reality for Develop- Mathew et al., (2006) Reducing maintenance cost
ment, Production and Service, In Proceedings of through effective prediction analysis and
the International Symposium on Mixed and process integration. In: Advances in Vibration
Augmented Reality (ISMAR02) pp.3-4. Engineering 2006 5(2): pp.97-96.
Foursa M. et al. INT-MANUS: Revolutionary con- Milgram, P. And Kishino, F. (1994). A Taxonomy
trolling of production processes. ACM of Mixed Reality Visual Displays, In IEICE
SIGGRAPH 2006, research posters, article No. Transactions on Information Systems, Vol. E77-
161. New York, NY: ACM, 2006 D, no. 12, Dec. 1994.
Grimm P., Haller M., Paelke V., Reinhold S., Rei- Moore W, Starr a. An intelligent maintenance
mann C., Zauner J., (2002). AMIRE - Author- system for continuous cost-based prioritization
ing Mixed Reality In The First IEEE Interna- of maintenance activities. Comput Ind - special
tional Augmented Reality Toolkit Workshop, 29 issue on e-maintenance - 57(6):595606, 2006.
September, 2002. Darmstadt, Germany. Nakajima C. And Itho N., (2003). A Support System
Haringer M. And Regenbrecht H., (2002). A prag- for Maintenance Training by Augmented Reali-
matic approach to Augmented Reality Author- ty, In Proceedings of the 12th International
ing, In Proceedings of the International Sympo- Conference on Image Analysis and Processing
sium on Mixed and Augmented Reality (ICIAP03) pp. 158- 163
(ISMAR02) pp. 237- 245 Navab N., (2004). Developing Killer Apps for In-
J-B. Le Ger., (2004). A case study of remote diag- dustrial Augmented Reality. In. IEEE Computer
nosis and e-maintenance information system. Graphics and Applications, May/June 2004, pp.
Invited keynote paper for IMS2004. In Interna- 16-20.
tional conference on intelligent maintenance Peysson F. et al. (2007). New Approach to Prognos-
systems, Arles, France, 2004. tic Systems Failures. In: Proceedings of the
Lee J. And Ni. J. (2004). Infotronics-based intelli- 17th IFAC World Congress.
gent maintenance system and its impacts to Provan G., (2003). Prognosis and condition-based
closed-loop product life cycle systems. Invited monitoring: an open systems architecture. In:
keynote paper for IMS2004International Proceedings of the IFAC symposium on fault
conference on intelligent maintenance systems, detection, supervision and safety of technical
Arles, France, 2004. processes, p. 5762.
Lee W. And Park J., (2005). Augmented Foam: A Quarles, J., S. Lampotang, I. Fischler, P. Fishwick,
Tangible Augmented Reality for Product De- and B. Lok. A Mixed Reality Approach for
sign, In Proceedings of the International Sym- Merging Abstract and Concrete Knowledge
posium on Mixed and Augmented Reality IEEE Virtual Reality, March 8-12, Reno, NV,
(ISMAR05), pp. 106- 109 27-34, 2008.
Lebold, M. And Thurston, M. (2001). Open stan- Regenbrecht H., Baratoff G. And Wilke W., (2005).
dards for condition-based maintenance and Augmented Reality Projects in the Automotive
prognostic system. In: Proceedings of and Aerospace Industries, Published by the
MARCON 2001 Fifth annual maintenance IEEE Computer Society, IEEE.
3026
XVIII Congresso Brasileiro de Automtica / 12 a 16-setembro-2010, Bonito-MS
3027