Universidade Federal de Minas Gerais Instituto de Cincias Exatas Departamento de Cincias da Computao

LETCIA LANA CHERCHIGLIA

MONOGRAFIA DE PROJETO ORIENTADO EM COMPUTAO I DESENVOLVIMENTO DE JOGO EDUCATIVO PARA MESA INTERATIVA E KINECT ATRAVS DO USO DE VISO COMPUTACIONAL

Belo Horizonte 2011/ 2 semestre

Universidade Federal de Minas Gerais Instituto de Cincias Exatas Departamento de Cincias da Computao Curso de Bacharelado em Cincia da Computao

DESENVOLVIMENTO DE JOGO EDUCATIVO PARA MESA INTERATIVA E KINECT ATRAVS DO USO DE VISO COMPUTACIONAL

por

Letcia Lana Cherchiglia

Monografia de Projeto Orientado em Computao I

Apresentado como requisito da disciplina de Projeto Orientado em Computao I do Curso de Bacharelado em Cincia da Computao da UFMG

Prof. Dr. Prof. Dr. Francisco Carlos de Carvalho Marinho Orientador

Belo Horizonte 2011/ 2 semestre

AGRADECIMENTOS

Primeiramente gostaria de agradecer a Deus, pelo dom da vida e pelas graas recebidas todos os dias. Agradeo a meus familiares, em especial a meus pais e meu irmo, pela pacincia, fora e amor incondicional que me deram ao longo destes anos. Ao meu namorado, pelo amor verdadeiro que perdura, pela companhia e incentivos, por ser, simplesmente, muito mais do que eu poderia pedir. Aos meus amigos e colegas, fonte de apoio nos momentos tristes, de diverso nos momentos felizes, e de ensinamentos sempre. Aos professores pelos conhecimentos adquiridos. E finalmente ao meu orientador Chico Marinho, pela confiana, orientao e trocas de experincias.

The only person standing in your way is you. The Black Swan (2010)

ii

RESUMO Atualmente o uso da tecnologia para a alfabetizao infantil vem crescendo cada vez mais, de modo que os recursos computacionais esto sendo utilizados como uma nova forma de educao, que incentiva a descoberta tanto do aluno quanto do educador e instiga a construo do conhecimento de modo mais atraente e interativo. Desta forma, este trabalho, realizado em parceira com o Projeto ALADIM (Alfabetizao e Letramento em Ambientes Digitais Interativos Multimodais) - Apoio FAPEMIG [1], prope a concepo e o desenvolvimento de um jogo educativo para mesa interativa, voltado para o mbito da alfabetizao infantil e cuja proposta possa ser estendida para o Kinect. Foram utilizados recursos da rea de Viso Computacional para a realizao deste trabalho, assim como conhecimentos nas reas de Artes Visuais, Educao, Lingstica e Msica, de modo que na continuao deste prevista a anlise das respectivas jogabilidades e interatividades existentes no mesmo jogo em diferentes interfaces multimodais (mesa interativa e Kinect) e a comparao entre elas.

Palavras-chave: jogos educativos, interfaces multimodais, alfabetizao infantil, Viso Computacional.

iii

ABSTRACT

Currently the use of technology for children's literacy is growing increasingly, so that computing resources are being used as a new form of education that encourages the discovery of both student and educator and instigates the construction of knowledge in a more attractive and interactive way. Therefore, this work, developed in partnership with the ALADIM Project support FAPEMIG [1], proposes the design and development of an educational game for an interactive table, facing the field of children's literacy and whose proposal can be extended to Kinect. We used resources of the Computer Vision for this work, as well as knowledge in the areas of Visual Arts, Education, Linguistics and Music, so that in its continuation we can analyze the gameplay and interactivity that exists in the same game in different multimodal interfaces (interactive table and Kinect) and compare them.

Keywords: educational games, multimodal interfaces, children's literacy, Computer Vision.

iv

LISTA DE FIGURAS

FIGURA 1 MESA INTERATIVA ...................................................................................................................... 12 FIGURA 2 MARCADORES FIDUCIAIS............................................................................................................... 13 FIGURA 3 ESQUEMA DO REACTIVISION .............................................................................................................. 13 FIGURA 4 KINECT .......................................................................................................................................... 14 FIGURA 5 LAYOUT INICIAL DO JOGO PROPOSTO ..................................................................................... 17 FIGURA 6 LAYOUT FINAL DO JOGO ............................................................................................................ 18

LISTA DE SIGLAS

CCV POC I POC II PD TUI

Comunity Core Vision Projeto Orientado a Computao I Projeto Orientado a Computao II Pure Data Tangible User Interfaces

vi

SUMRIO

RESUMO .............................................................................................................................. III ABSTRACT ............................................................................................................................IV LISTA DE FIGURAS ................................................................................................................ V LISTA DE SIGLAS ..................................................................................................................VI 1 INTRODUO ............................................................................................................... 10 1.1 1.2 2 VISO GERAL DO ASSUNTO....................................................................................... 10 OBJETIVO, JUSTIFICATIVA E MOTIVAO................................................................. 10

REFERENCIAL TERICO .............................................................................................. 12 2.1 2.2 2.3 MESA INTERATIVA....................................................................................................... 12 REACTIVISION.................................................................................................................... 13 KINECT................................................... ............................................................................ 14

3 4

METODOLOGIA ............................................................................................................ 14 DESENVOLVIMENTO E RESULTADOS ........................................................................... 16 4.1 4.2 4.3 4.4 4.5 4.6 PESQUISA SOBRE O REACTIVISION............................................................................. 16 DEFINIO DO JOGO..................................................................................................... 16 CRIAO DO ARCABOUO DE CONTEDO EDUCATIVO.............................................. 19 DESENVOLVIMENTO DO JOGO PARA MESA INTERATIVA............................................ 19 EXTENSO DO JOGO J CRIADO PARA KINECT................................................................20 RESULTADOS..............................................................................................................................20

CONCLUSO E TRABALHOS FUTUROS ......................................................................... 21

BIBLIOGRAFIA ..................................................................................................................... 22

10

INTRODUO

1.1. Viso geral do assunto

Com o crescente uso da tecnologia voltado para a alfabetizao infantil, houve o surgimento da rea da Informtica Educativa ou Informtica na Educao. Nesta, os meios computacionais so utilizados como recursos didticos para as prticas pedaggicas em diferentes nveis educacionais, o que incentiva a descoberta tanto do aluno quanto do educador e instiga a construo do conhecimento de forma mais atraente e interativa. [2] Neste contexto, a abordagem construcionista em que o aluno utiliza os recursos computacionais como meio de construo do aprendizado tem sido utilizada com grande sucesso e apresentado melhores resultados do que a abordagem instrucionista, na qual o aluno mero utilizador dos recursos computacionais. [2, 3] Desta forma, est havendo uma mudana nas escolas, de modo a incluir a tecnologia nas salas de aulas em suas diferentes formas multimodais: computador, mesas interativas, tablets, celulares, entre outros. Como exemplo, podemos citar o Programa Um Computador por Aluno (PROUCA), do Governo Federal Brasileiro [4], que possui como objetivo ser um projeto Educacional voltado para a incluso digital. Entretanto, existem ainda muitas barreiras para programas como este serem implantados em totalidade nas escolas brasileiras, sejam pblicas ou privadas. Logicamente, nas ltimas o problema financeiro no to grave, mas ainda assim falta iniciativa por parte dos professores em abraar este novo mtodo de ensino, que alia a tecnologia ao mtodo tradicional, em prol de atividades que sejam interativas e mais interessantes para os alunos em sala de aula, de modo a fixar os conhecimentos ou at mesmo construir novos. Portanto, a pesquisa e o desenvolvimento de aplicaes educacionais dentro das prprias universidades brasileiras pea de suma importncia para uma maior difuso da Informtica Educativa, aliadas a outras aes como cursos para professores, debates sobre o tema, entre outros.

1.2. Objetivo, justificativa e motivao

Imerso nos contextos explicitados acima, temos o trabalho em questo, que est sendo realizado em parceira com o Projeto ALADIM (Alfabetizao e Letramento em Ambientes Digitais Interativos Multimodais) - Apoio FAPEMIG [1], que possui com objetivo principal o estudo da rea

11

de Viso Computacional aplicada temtica educacional da alfabetizao infantil, atravs da concepo e desenvolvimento de um jogo para mesa interativa, cuja proposta possa ser entendida para o Kinect. O trabalho tambm utiliza recursos de reas do saber como Artes Visuais, Educao, Lingstica e Msica, pois est inserido em um projeto de extenso da PROEX [5] cujo cunho interdisciplinar, sendo desenvolvido atualmente no Centro de Experimentao e Pesquisa em Sistemas Multimodais da Fundao Rodrigo Melo Franco de Andrade. Pretende-se que o jogo educativo desenvolvido seja testado em escolas, de modo a auxiliar crianas que estejam em fase de pr-alfabetizao e alfabetizao, de modo que estas possam ter uma prtica mais ldica, prazerosa e eficaz do letramento, atravs do rompimento com os padres tradicionais de ensino-aprendizagem de lngua materna e incorporao de novas possibilidades oferecidas pelo meio digital. A definio de tais testes assim como seus resultados em termos de jogabilidade e interatividade esto previstos para serem discutidos na continuao do trabalho, no Projeto Orientado em Computao II (POC II).

12

REFERENCIAL TERICO

2.1.

Mesa interativa

As mesas interativas esto sendo cada vez mais utilizadas em diferentes mbitos, seja no educacional ou da arte digital. Sua construo relativamente fcil, demandando apenas o uso de um computador, um projetor, refletores e uma cmera para captao de movimentos ou marcadores, alm da prpria mesa em si, feita em madeira com tampo de vidro polido. Desta forma, temos uma mesa cujo custo no muito elevado, e que pode ser construda para museus ou escolas. A mesa interativa que estamos utilizando foi construda atravs do Projeto ALADIM (Alfabetizao e Letramento em Ambientes Digitais Interativos Multimodais) - Apoio FAPEMIG [1] e seu esquema mostrado na figura 1 abaixo:

Figura 1: Mesa interativa

O uso de mesas interativas voltadas para crianas um conceito que ainda est em desenvolvimento, mas que j prova ter efeito positivo. J existem propostas de novos brinquedos que utilizem tal tecnologia, que mostram que a experincia das crianas e das famlias em geral pode ser enriquecida atravs de tal produto. [6]

13

2.2.

reacTIVision

Para o reconhecimento de objetos atravs da cmera da mesa, utilizaremos o framework de viso computacional open source reacTIVision [7], que funciona como um kit de ferramentas para o rpido desenvolvimento de aplicaes para mesas baseadas em Tangible User Interfaces (TUI) e surpefcies interativas multi-toque em geral. Atravs dele, possvel fazermos a leitura de marcadores fiduciais, cuja concepo e descrio podem ser encontradas em [8,9], e que no jogo representam slabas da lngua portuguesa, tanto em escrita como sonoridade. A figura 2 abaixo mostra alguns exemplos de possveis marcadores utilizados:

Figura 2: Marcadores fiduciais

Tais fiduciais so impressos e colados em objetos fsicos que, postos sobre a mesa interativa, so capturados pelo reacTIVision atravs da cmera. O prprio software envia para a aplicao, atravs de protocolo prprio (TUIO), os dados de cada marcador (posio x e y, rotao, velocidade, entre outros). A figura 3 a seguir ilustra o funcionamento de uma aplicao que utilize o reacTIVision com uma mesa interativa.

Figura 3: Esquema do reacTIVsion

14

Optou-se por utilizar o reacTIVision ao invs de outros softwares como o Comunity Core Vision (CCV) [10], por exemplo, pela sua qualidade e preciso em mapeamento de fiduciais, que no jogo sendo desenvolvido seriam de extrema importncia.

2.3.

Kinect

O Kinect uma tecnologia desenvolvida pela Microsoft para seu console de videogame Xbox 360, capaz de reconhecer o movimento de vinte pontos do corpo humano, alm de face e voz, atravs de sensores especiais. [11] Alm de funcionar para o console citado acima, o Kinect tambm pode ser conectado em um computador e, atravs da Kinect for Windows SDK [12], podem ser desenvolvidas aplicaes que utilizem as informaes capturadas pelos sensores. A figura 4 abaixo mostra uma possvel instalao para um jogo que utilize o Kinect:

Figura 4: Kinect

Basicamente, o Kinect seria acoplado em um computador que possua a aplicao (desenvolvida em Microsoft Visual Studio atravs da Windows SDK), e enviaria para ela os pontos do corpo humano a serem mapeados. Desta forma, os objetos fsicos com marcadores fiduciais utilizados na mesa interativa podem ser substitudos por movimentos ou gestos das mos do jogador.

15

METODOLOGIA

Os recursos necessrios para a realizao deste trabalho foram: uma mesa interativa composta pela mesa em si, um computador com Processing, PD e reacTIVision instalados, uma cmera e um projetor e um Kinect acoplado ao mesmo computador mencionado anteriormente. Tais recursos foram utilizados do Centro de Pesquisa e Experimentao em Sistemas Multimodais, sob coordenao do Prof. Dr. Francisco Carlos de Carvalho Marinho. O procedimento metodolgico utilizado foi a diviso do trabalho em cinco etapas, a saber:

Etapa 1: Pesquisar sobre tecnologia usada pelo reacTIVsion e seu funcionamento o Perodo de Realizao: 02/09/2011 09/09/2011

Etapa 2: Definio do jogo e seu design o Perodo de Realizao: 09/09/2011 16/09/2011

Etapa 3: Criao do arcabouo de contedo educativo o Perodo de Realizao: 16/09/2011 23/09/2011

Etapa 4: Desenvolvimento do jogo para mesa interativa (Processing e PD) o Perodo de Realizao: 23/09/2011 01/11/2011

Etapa 5: Extenso do jogo j finalizado para o Kinect: estudo do funcionamento do ambiente e desenvolvimento de nova verso compatvel com a tecnologia escolhida o Perodo de Realizao da primeira parte: 01/11/2011 11/11/2011 o Perodo de Realizao da segunda parte: adiada para o POC II

16

DESENVOLVIMENTO E RESULTADOS

4.1. Pesquisa sobre o reacTIVision

Como o objetivo desse projeto era desenvolver um jogo educativo para mesa interativa e Kinect que utilize como parte integrante recursos de viso computacional adquiridos atravs do framework reacTIVision, o primeiro passo foi o um estudo sobre a tecnologia que tal framework utiliza para o mapeamento e leitura dos fiduciais (imagens utilizadas em realidade aumentada) ou seja, entender como o framework funciona. Para tal, utilizou-se os artigos de Kalternbrunner e Bencina [8,9] e tambm a documentao disponvel no prprio site do reacTIVision [7].

4.2. Definio do jogo

Como o objetivo principal do jogo proposto era a familiarizao com a relao existente entre som e imagens silbicas, sua definio seguiu a idia de um sonar virtual que responde a objetos fsicos reais (marcadores), representantes de slabas (escrita e fontica), quando estes so colocados no jogo atravs do posicionamento dos mesmos sobre a mesa interativa pelo usurio. As posies dos marcadores definem, em um seqenciador de udio, o ritmo dos sons das slabas tocadas bem como a durao e o timbre destas, permitindo que o usurio brinque com os sons de vrias slabas, transformando-os em seqncias rtmicas. Na figura 1 a seguir podemos ver o layout inicial do jogo proposto, a partir da qual sero explicados melhor seus elementos. Tal verso foi alterada devido a alguns problemas que tivemos e tambm a sugestes de educadores, de modo que a verso atual e final do jogo no corresponde mostrada na figura abaixo. Entretanto, optou-se por descrever e mostrar esta primeira verso, de modo que fiquem claras as mudanas realizadas na definio do jogo e seus motivos.

17

Figura 4: Layout inicial do jogo proposto

Como podemos observar, temos em suma quatro componentes no jogo acima, numerados na figura em vermelho de 1 a 4:

1. Marcadores: so as representaes virtuais das slabas reais. 2. Sonar: quando a linha do sonar atinge um marcador, h a reproduo do som correspondente quela slaba. A distncia do marcador ao centro do sonar mapeia a transformao no timbre do udio (mais ao centro, mais agudo). 3. Knob: ao colocar-se um marcador no centro do knob, pode-se controlar a velocidade de rotao do sonar, rotacionando-se o marcador (sentido horrio, mais rpido). 4. Slider vertical: ao colocar-se um marcador sobre o boto do slider, pode-se controlar o volume do jogo (mais acima, mais alto).

Entretanto, devido a inmeros problemas discutidos adiante na sesso 4.4 deste documento, que trata sobre o desenvolvimento do jogo propriamente dito, houve a reformulao deste, de modo que o layout e tambm alguns elementos que o compunham foram alterados, conforme pode ser visto na figura 3 a seguir.

18

Figura 5: Layout final do jogo proposto

Como podemos observar, agora temos seis componentes no jogo, numerados na figura em vermelho de 1 a 6, ao invs de quatro, conforme anteriormente. Os componentes 1, 2 e 3 (marcadores, sonar e knob, respectivamente) permaneceram inalterados. Houve a remoo do slider vertical (antigo componente 4) e a incluso de dois seletores (componentes 4 e 5) e a de um receptor (componente 6). A seguir sero explicados os novos componentes:

4. Seletor de consoantes: a rotao de um marcador colocado no centro deste crculo permite a escolha da consoante desejada para sua slaba, mostrada no crculo adjacente de mesma cor do seletor. 5. Seletor de vogal: a rotao de um marcador colocado no centro deste crculo permite a escolha da vogal desejada para sua slaba, mostrada no crculo adjacente de mesma cor do seletor. 6. Receptor de slaba: ao colocar-se um marcador no centro deste crculo, este ficar carregado com a slaba formada pela juno das letras selecionadas anteriormente, sendo a primeira delas a consoante desejada e a segunda, a vogal desejada. Somente marcadores carregados causaro o disparo de som correspondente slaba que carregam quando forem acionados pelo sonar. Para descarregar um marcador, basta retir -lo da mesa.

19

4.3. Criao do arcabouo de contedo educativo

Aps a definio formal do jogo, foi necessria a definio de slabas teis, ou seja, aquelas que so interessantes para a criana-jogadora do ponto de vista educacional. Decidimos utilizar as slabas chamadas cannicas (compostas por somente duas letras, sendo a primeira uma consoante e a segunda uma vogal, sem considerar consoantes estrangeiras ou com som mudo, como h). E aps tal definio, a gravao de cada slaba separamente em um arquivo de udio correspondente, o que compe nosso arcabouo de contedo. A redefinio posterior do jogo no acarretou alterao no arcabouo. Alm disso, tal conjunto poder ser utilizado em outras aplicaes futuras que tenham como temtica a silbica.

4.4. Desenvolvimento do jogo para mesa interativa

Com tal arcabouo de contedo em mos, foi realizada a programao da verso inicial do jogo. Decidiu-se utilizar a linguagem de programao Processing para a lgica, a linguagem de programao Pure Data (PD) para a alterao e execuo do udio das slabas e a biblioteca OSC5 para a troca de mensagens entre as duas aplicaes, que so executadas ao mesmo tempo. Em seguida foram realizados testes de funcionamento na mesa interativa. Neste ponto do trabalho vrios problemas surgiram, entre eles: A cmera da mesa somente reconhecia marcadores maiores do que o esperado; O layout inicial poderia levar a uma apologia desnecessria violncia (sonar militar); Seriam necessrios quantos marcadores fosse o nmero de slabas cannicas no jogo, pois cada marcador corresponderia a uma slaba somente; O slider vertical para controle do volume era, na verdade, intil; A reproduo de sons com intervalo de tempo muito pequeno entre eles gerava o encavalamento do udio, de modo que as slabas no eram reproduzidas do modo correto. Desta forma, foi preciso realizar uma reformulao do layout do jogo e de sua prpria definio, seguido da reprogramao do jogo, conforme mencionado e mostrado anteriormente, de modo a obter-se uma aplicao final mais ldica, atrativa e com usabilidade e jogabilidade melhoradas. Atualmente, os problemas mencionados acima foram contornados, de modo que temos uma primeira verso estvel do jogo para a mesa interativa j funcionando.

20

4.5. Extenso do jogo j finalizado para o Kinect

Devido aos problemas mencionados acima, houve um atraso no cronograma previsto, de modo que somente o estudo do funcionamento do Kinect foi realizado neste trabalho. O desenvolvimento da nova verso do jogo compatvel com tal tecnologia ficar para a continuao do trabalho (POC II), assim como testes de jogabilidade e usabilidade em ambos os ambientes. Estuda-se a possibilidade de desenvolver-se um jogo completamente diferente para o Kinect ou ento nem desenvolv-lo, caso no seja interessante para o trabalho. Caso tal opo seja escolhida, os testes propostos para o POC II sero realizados somente com o jogo j existente.

21

CONCLUSO E TRABALHOS FUTUROS

Foi possvel com este trabalho desenvolver um jogo educacional completo para mesa interativa, alm de um arcabouo de silabas que podem ser utilizadas em outros contextos. Conforme mencionado anteriormente pretende-se, na continuao do trabalho (POC II), realizar testes com crianas com o jogo desenvolvido, de forma a avaliar sua jogabilidade e interatividade e possibilitar a correo de possveis defeitos ou mesmo a ampliao do jogo. Tambm pode ser desenvolvido o jogo para Kinect, desta forma, os testes descritos acima seriam ampliados para o novo jogo, e comparaes entre os resultados obtidos em ambos os testes seriam realizadas. Desta forma, acredita-se que sua proposta deste trabalho foi vlida e concluda com sucesso, mesmo com o desenvolvimento da nova verso compatvel para o Kinect no ter sido concluda em tempo hbil, devido aos problemas explicitados anteriormente.

22

BIBLIOGRAFIA

1. Projeto ALADIM. Disponvel em < http://halfabyte.com/aladin/>. Acessado em 02 de set. de 2011. 2. REZENDE, F.: AS NOVAS TECNOLOGIAS NA PRTICA PEDAGGICA SOB A PERSPECTIVA CONSTRUTIVISTA. Disponvel em <http://www.portal.fae.ufmg.br/seer/ index.php/ensaio/article/viewFile/13/45BuscaWeb>. Acessado em 02 de set. de 2011. 3. VALENTE, J.: INFORMTICA NA EDUCAO: O Computador auxiliando o processo de mudana na escola. Disponvel em <http://www.nte-jgs.rct-sc.br/valente.htm>. Acessado em 02 de set. de 2011. 4. UCA | Um computador por aluno. Disponvel em < http://www.uca.gov.br/institucional/ index.jsp>. Acessado em 17 de Nov. de 2011. 5. SIEX/UFMG Sistema de Informao da Extenso da Universidade Federal de Minas Gerais: Projeto - 400556 - Desenvolvimento de interfaces e protocolos para jogos e instalaes de arte e tecnologia e jogos digitais para Centros de Divulgao/exposio cientfico-culturais. Disponvel em <https://sistemas.ufmg.br/siex/AuditarProjeto.do ?id=12546>. Acessado em 17 de Nov. de 2011. 6. NIELSEN, R.; FRITSCH J., HALSKOV K.; BRYNSKOV M.: Out of the Box Exploring the Richness of Childrens Use of an Interactive Table. Disponvel em <http://au.academia.edu/JonasFritsch/Papers/1025111/Out_of_the_box_exploring_the_richness_of_ childrens_use_of_an_interactive_table>. Acessado em 17 de nov. de 2011. 7. reacTIVision. Disponvel em <http://reactivision.sourceforge.net>. Acessado em 02 de set. de 2011. 8. KALTENBRUNNER, M.; BENCINA, R.: reacTIVision: a computer-vision framework for table-based tangible interaction. Disponvel em <http://dl.acm.org/citation.cfm?id=1226983>. Acessado em 02 de set. de 2011. 9. KALTENBRUNNER, M.; BENCINA, R.: The Design and Evolution of Fiducials for the reacTIVision System. Disponvel em <http://en.scientificcommons.org/43448614>. Acessado em 02 de set. de 2011. 10. Community Core Vision. Disponvel em < http://ccv.nuigroup.com/>. Acessado em 17 de nov. de 2011. 11. Kinect Disponvel em <http://www.xbox.com/pt-BR/Kinect/GetStarted>. Acessado em 17 de nov. de 2011. 12. Kinect for Windows SDK. Disponvel em <http://kinectforwindows.org>. Acessado em 17 de nov. de 2011