Fluxo ptico

Alexandre Wagner Chagas Faria UFMG Universidade Federal de Minas Gerais, ICEx-DCC- Viso Computacional Alexandre.wagner@fiat.com.br /axlwagner@gmail.com

Abstract
Movimento uma poderosa caracterstica em seqncias de imagens, revelando a dinmica da cena pela relao espacial das caractersticas da imagem de acordo com a mudana temporal. A tarefa de analise de movimento permanece um desafio e um problema fundamental em viso computacional [02]. A dimenso temporal em processamento visual importante primariamente por duas razes [01]: Primeira: O movimento aparente de objetos sobre um plano de imagem uma forte sugesto visual para entender a estrutura e movimento 3D. Segundo: O sistema visual humano usa o movimento visual para inferir/tirar propriedades do mundo real 3D com um pequeno conhecimento prvio do mesmo, o que um dos principais objetivos da viso computacional, inferir propriedades de uma cena 2D caractersticas que nos ajudem a reconstruir a cena original o mundo 3D.

translao e rotao da cmera causa a localizao projetada p de um ponto P na cena em movimento. Da mesma forma, se o ponto P esta se movendo independentemente, sua projeo no plano de imagem ir mudar, mesmo quando a cmara estiver estacionria. o vetor de campo, u(x,y)=[u(x,y, v(x,y))], descrevendo o movimento horizontal e vertical, que ser recoberto em cada ponto da cena [11].

1. Introduo
Uma importante tcnica para estimar movimento em seqncia de imagens o chamado Optical Flow (Fluxo ptico). Fluxo ptico a distribuio da velocidade aparente do movimento dos padres de intensidade em uma imagem. Fluxo ptico pode surgir de um movimento relativo de objetos e vistas, consequentemente, Fluxo ptico pode dar uma informao importante sobre o arranjo dos objetos vistos e sua taxa de mudana destes arranjos. A descontinuidade no Fluxo ptico pode ajudar em segmentao de imagens em regies que correspondam a diferentes objetos [10]. Fluxo ptico ainda pode ser definido como a representao do movimento aparente do mundo projetado no plano de imagem. Fluxo ptico o campo de velocidade 2D, descrevendo o movimento aparente na imagem, que resulta de movimentos independentes de objetos na cena ou de um observador em movimento. Mais especificamente, considere o diagrama na figura 1 que ilustra como a

Figura 01. Um ponto P na cena projeta um ponto p[x,y] no sistema de coordenadas do plano de imagem da cmera centrada na origem do sistema de coordenadas da cmera [X,Y,Z], que o eixo ptico apontando da direo de Z. O movimento da cmera descrito por sua translao [Tx,Ty,Tz] e rotao [x, y, z].

2. Metodologia
Neste trabalho sero apresentados os estudos para o clculo da equao de restrio do fluxo ptico, bem como duas tcnicas para obteno do Fluxo ptico a partir da equao de restrio, a primeira apresentada por Lucas e Kanades que ser apresentada somente seus pontos principais, e de maneira mais profunda um estudo do mtodo de K.P. Horn e B.G. Shunck, ambas as tcnicas baseadas em diferenciao. No decorrer do trabalho sero apresentadas os seus desenvolvimentos matemticos, suas caractersticas bem como a implementao do algoritmo baseado na tcnica de Horn e Shunck. Os testes do algoritmo sero realizados sobre imagens geomtricas sintticas, imagens de uma estrada sinttica e um teste tambm de uma cena no mundo real. Espera-se ao final do trabalho conhecer a

metodologia dos mtodos de obteno do Fluxo ptico e uma analise sobre os resultados obtidos.

3. Calculo da Equao de restrio do fluxo ptico:

Os mtodos para a computao do Optical Flow podem ser classificados em trs grandes grupos principais: Tcnicas diferenciais, Tcnicas de correlao e Tcnicas baseadas em Freqncia Energia. Nas tcnicas diferenciais, a hiptese inicial para a computao do fluxo ptico a de que a intensidade entre quadros diferentes em uma seqncia de imagens aproximadamente constante em um intervaldo de tempo pequeno, ou seja, em um pequeno intervalo de tempo o deslocamento ser mnimo. Seja I ( x, y , t ) a intensidade da imagem no pixel (x,y) no tempo t, primeiramente assumido que o intervalo de tempo dt entre duas imagens muito curto e intensidade da imagem no se altera neste intervalo de tempo.

existem mais incgnitas que equaes para a soluo. As solues a partir deste ponto o que diferencia entre as tcnicas de Lucas & Kanade e Horn & Shunck. A preciso das diversas tcnicas diferenciais depende diretamente da estimao das derivadas parciais da funo intensidade. Ao se utilizar um algoritmo iterativo, como o caso de Horn e Shunck, o processo se encerra quando o fluxo calculado na iterao corrente a diferena entre a mesma e o clculo da iterao anterior, no for muito significativo. O processo de se determinar o Fluxo ptico complexo, pois envolve diversas variveis, nem sempre controlveis: Ocluses de pontos de interesse devido a mudana de perspectiva e devido ao aparecimento de novos objetos na cena, um aspecto muito importante ao se lidar com Fluxo ptico em situaes reais a vibrao da cmera e mudana de iluminao do ambiente, onde sombras e nuvens modificam a intensidade das imagens.

I ( x, y, t ) = I ( x + dx, y + dy, t + dt)

(01)

4. Metodologia Lucas e Kanade

Atravs da equao de restrio do Fluxo ptico (02) vemos que no existe uma resoluo direta por falta de equaes para o nmero de incgnitas. Isto conhecido como o problema de abertura em algoritmos de fluxo ptico. Para achar o fluxo ptico outro conjunto de equaes necessrio, dado por outra restrio. A soluo dada por Lucas e Kanade um mtodo no iterativo que assume uma fluxo ptico constante local. Assumindo que o fluxo (Vx,Vy,Vz) constante em pequenas janelas de tamanhos m x m e com m>1, o qual centrada nestas janelas e numerando os pixels de 1...n, um conjunto de equaes pode ser encontrada:

A equao anterior pode ser expandida pela srie de Taylor e reescrita como:
I ( x + dx, y + dy, t + dt ) = I ( x, y , t ) + I I I dx + dy + dt + O 2 . x y t

Aglutinando-se as duas equaes eliminando O2, que so termos de alta ordem, temos:

I ( x, y , t ) = I ( x, y , t ) +

I I I dx + dy + dt. x y t

Eliminando o elemento comum em ambas as parcelas temos:

0=

I I I dx + dy + dt. x y t

Dividindo todos os termos por dt, temos:

I dx I dy dI + + = 0. x dt y dt dt
Onde v = dt , dt so os dois componentes do vetor velocidade (procurado) V. O gradiente da funo I imagem nas direes x e y, I e y so denominados x . como I .Desta forma a equao de restrio do Fluxo ptico torna-se:
dx dy

Com isto existem mais equaes que incgnitas e ento o sistema passa a ser sobre determinado, consequentemente.

I .v + It = 0

(02)

Somente a equao de restrio anterior no suficiente para estimar os componentes de V, pois

Ou

5.2 Restries.
Para resolver um sistema sobre determinado de equaes um dos mtodos escolhidos foi o mtodo dos mnimos quadrados: ou 5.1.2. Restrio da iluminao constante. Seja a iluminao de uma imagem no ponto (x,y), no plano da imagem no tempo t descrito por E(x,y,t). Agora considere o que acontece quando o modelo se move. A iluminao de um ponto particular no modelo constante, ento: Com a soma variando de i=1 at n. Isto significa que o fluxo ptico pode ser encontrado calculando as derivadas da imagem em todas quatro dimenses. O mtodo de Lucas e Kanade obtm resultados razoavelmente robustos a rudo, porm a malha de pontos do campo de velocidade no to densa. Horn & Shunck, deriva a equao que retrata a mudana na iluminao em uma imagem a um ponto para o modelo de movimento da iluminao. Para realizar isto, algumas restries so estabelecidas.

A qual pode ser expandida usando a regra da cadeia.

5. Metodologia de Horn e Schunck

E assumindo que A velocidade da imagem computada a partir das derivadas espao-temporal das intensidades na imagem. Considerando uma imagem I em tons de cinza pode-se chegar a seguinte expresso:

u=

dx dt

v=

dy dt
(03)

Ento fica fcil ver que temos uma nica equao linear com duas variveis desconhecidas u e v. Onde I(x; t) a funo de intensidade da imagem x= (x, y) o vetor posio na imagem e x o deslocamento de uma regio da imagem em (x; t) aps o tempo t [12].

Figura 02. A imagem na posio (x,y,t) a mesma mostrada em (x+x,y+y,t+)

Figura 03. Limitao de Horn e Shunck: a) Um giro da esfera com a iluminao fixa, determina um fluxo ptico=0. b) Um movimento da fonte de iluminao causa um campo de fluxo ptico aparente sem movimento da esfera.

5.1. Suposies
Em seu trabalho Horn & Shunck, para evitar variaes no brilho devido a efeitos de sombras, assumem que a superfcie a ser trabalhada plana e tambm que a iluminao incidente sobre a superfcie e uniforme, com isso podemos dizer que a iluminao em um ponto na imagem e proporcional a reflexo na superfcie correspondente naquele ponto no objeto. Assumem tambm que a reflexo varia suavemente e no tem descontinuidade. 5.2.2 Restrio de suavizao. Outra restrio colocada na soluo para Optical Flow a restrio de suavizao. No trabalho de Horn & Shunck observam que os pontos vizinhos em um objeto em movimento possuem velocidade similares, consequentemente o padro de iluminao na imagem varia suavemente quase em toda parte, discontinuidade do fluxo pode ser esperada onde um objeto oculta outro.

Um algoritmo baseado na restrio de suavizao provvel ter dificuldades com objetos que ocultem outro. A implementao desta restrio de suavizao atravs dos Mnimos quadrados da magnitude do gradiente.

Onde u e v so mdias locais dos vetores de velocidade. Eles so estimados pela subtrao do valor em um ponto a uma mdia ponderada dos valores vizinhos. A equao ento fica:

(05)

Outra medida da suavidade do Optical Flow a soma dos quadrados de Laplace dos componentes de x e y do fluxo. Calculando a Laplace de u e v, ficamos com:

ii + 1

5.3. Estimaes
5.3.1 Estimando as derivadas parciais. preciso estimar as derivadas da iluminao do conjunto discreto de imagens medidas disponveis. importante que a estimao de Ex, Ey e Et sejam consistentes, isto , todas elas devem ser referenciadas ao mesmo ponto na imagem ao mesmo tempo. Para esta estimao Horn & Shunck utiliza um ponto no centro de um cubo formado por oito medies cuja relao no espao e tempo entre estas medies mostrado na figura 04. A estimao calculada pela mdia das quatro primeiras diferenas em duas regies adjacentes da imagem:

ii

k k+ 1

kk jj jj + 1

Figura 04. As trs derivadas parciais da iluminao da imagem ao centro do cubo so estimadas pela mdia das primeiras diferenas nas quatro bordas paralelas do cubo. A coluna ndice j corresponde a direo x na imagem e a coluna ndice i a direo y. Enquanto k representa a direo do tempo.

5.4. Minimizao
O problema ento minimizar a soma dos erros nas equaes para a taxa de mudana da iluminao da imagem,

(04)

E a medida das sadas de suavizao na velocidade do fluxo,

5.3.2 Estimando o Laplaciano do fluxo de velocidade. preciso aproximar o Laplaciano de

e v. Uma convincente aproximao dada pela frmula.

Qual deveria ser o peso relativo para estes dois fatores? Na prtica a medida da iluminao da imagem ser corrompida pelo erro de quantizao e rudo, de modo que no se pode esperar E ser igual a zero. Este valor tender ter uma magnitude de erro que proporcional ao rudo na medio. A minimizao a ser alcanada achando valores satisfatrios para a velocidade do fluxo ptico (u,v). Usando o calculo de variao teremos.

f ( x, y, t ) = f ( x, y, t ) +

f f f dx + dy + dt. x y t

A equao acima pode ser simplificada como: Usando a aproximao do Laplaciano introduzido na seo passada,

fxdx + fydy + ftdt = 0

Onde fx = x , fy = y eft = t. Estas derivaes podem ser calculadas aplicando mscaras como mostrado na figura abaixo para seqncia de imagens f(x,y,t).
f f f

O determinante da matriz de coeficiente igual 2 . 2 ( 2 + E x2 + E y ) Resolvendo para u e v encontrase

Figura 05: Mscaras para o clculo das derivadas espacial e temporal. O centro da mscara o pixel inferior direito. (a) Mscara para fx, (b) Mscara para fy e (c) Mscara para ft.

5.5. Soluo Interativa

Uma soluo direta para a restrio de minimizao computacionalmente cara, portanto uma soluo intertativa pode ser sugerida. Este mtodo calcula um novo conjunto de velocidades estimadas u n +1 , v n +1 , baseada nas derivadas estimadas e a mdia da velocidade tambm estimada anteriormente. A soluo interativa pode ser expressa pela equao abaixo.

Dividindo cada termo da equao acima por dt, teremos:

f x u + f y v + ft = 0

(07)

Onde u=dx/dt e v=dy/dt que o fluxo ptico. Existem duas incgnitas, u e v, na equao acima, a soluo desta equao no fcil. A equao acima pode ser rescrita como:

v=

ft fx u fy fy

(06)

6. Simplificaes a partir do mtodo de Horn & Shunck

Com base no trabalho acima descrito no artigo de Horn e Shunck, algumas simplificaes matemticas foram feitas nos livros Fundamental of Computer Vision [06] e Computer vision [05], com intuito de chegar mais rpido no clculo do fluxo ptico. Seja a funo 3D f(x,y,t), onde x,y so as coordenadas espaciais e t o tempo que representam uma seqncia de imagem. Ento f(x1,y1,t1) o nvel de cinza na coordenada x1,y1 no tempo t1. Assumindo que uma pequena mudana dx,dy e dt em x,y e t no ir mudar o nvel de cinza, isto

Esta a equao da linha reta no espao u-v. Existem diversas possveis solues para esta equao, as solues podem ser encontradas em qualquer lugar na linha mostrada na figura 6. Um dos primeiros mtodos para calcular o fluxo ptico foi proposto por Horn e Shunck, desenvolvimento o qual foi descrito no incio deste trabalho. Eles prope para estimar os valores de (u,v) de modo seguindo a funo de erro, E, minimizada:

E ( x, y ) = ( f xu + f y v + ft ) 2 + (u x + u y + v x + v y )
2 2 2 2

f ( x, y, t ) = f ( x + dx, y + dy, t + dt )
Pela expanso de srie de Taylor sobre x,y,t para o lado direito da equao acima, teremos,

E = ( f x u + f y v + ft ) fx + (u xx + u yy ) = 0 u E = ( f x u + f y v + ft ) fy + (u xx + u yy ) = 0 v

Onde o primeiro termo a restrio do fluxo ptico da equao (07) e o segundo termo corresponde a suavidade do fluxo ptico. Para um correto fluxo ptico o primeiro termo deve ser prximo de zero, ou o quadrado do primeiro termo dever ser bem pequeno. Partindo do pressuposto que o movimento de objetos no mundo real suave, o segundo termo fora a restrio de suavidade. Diferenciando E com o respectivo u e v, e igualando a zero teremos:

Substituindo teremos:

2u=uxx+uyy e 2v=vxx+vyy

calculado anteriormente (05).

( f x u + f y v + ft ) fx + (2u ) = 0 ( f x u + f y v + ft ) fy + (2 v) = 0

7. Experimentos
Para execuo dos experimentos, primeiramente foram criadas algumas imagens sintticas com baixa complexidade e posteriormente aumentando o grau de complexidade entre os intervalos de imagens a serem testadas, e posteriormente um teste em uma imagem real realizada em ambiente interno. O passo inicial, foi primeiramente aps a criao das imagens sintticas com algum movimento relativo entre as mesmas, foi converter as imagens de RGB para escala de cinza (realizado no prprio MatLab com o comando rgb2gray). Nos primeiros experimentos foi verificado que imagens muito grandes (Exemplo 640 x 480 pixels) o mapa de movimento ficava confuso no sendo possvel uma boa interpretao do mesmo, para solucionar o problema as imagens foram reduzidas para tamanhos de aproximadamente 320x240 e 160x110 pixels com isso o grfico ficou com melhor apresentao e o tempo de processamento tambm foi menor. Somente foi utilizado filtros de suavizao para imagens reais. Tambm foi testado nmeros variados de iteraes, porm alm do tempo de resposta ter aumentado bastante o resultado apresentado ficou mais confuso no agregando muita informao. Aps o calculo de u e v, que representam os vetores do Fluxo ptico, a visualizao do mesmo feita atravs do grfico de agulhas, no MatLab representado pela funo quiver.

Figura 06: Linha de restrio do espao u-v. d o comprimento da perpendicular da origem at a linha, o ngulo entre a perpendicular e o eixo x. (,v) uma das possveis solues. Este vetor do fluxo ptico pode ser dividido em duas componentes: p, que esta ao longo da linha de restrio e d que esta perpendicular a linha de restrio.

Seja 2u=u-uv onde uv a mdia de u componentes do fluxo ptico pegos sobre os quatro vizinhos mais prximos do pixel. Similarmente seja 2v=v-vv ento:

( f xu + f y v + ft ) fx + (u uv ) = 0

( f xu + f y v + ft ) fy + (u uv ) = 0
Estas duas equaes pode agora ser resolvidas para (u,v) como

7.1. Primeiro experimento.

Para o primeiro experimento foi criada uma imagem simples de um circulo se deslocando para a esquerda e para baixo. As imagens foram criadas no Paint Brush do Windows.

u = u fx

Onde

P , ( fx = Ex) D P v = v fy , ( fy = Ey ) D

(08)

P = Ex.u + Ey.v + Et D = 2 + Ex 2 + Ey 2
De posse destas novas equaes vimos que a equao (08) uma simplificao da equao (06) extrada do artigo de Horn e Shunck. Desta forma temos todos os parmetros para encontrar u e v, onde Ex, Ey e Et, so as derivadas parciais calculadas (04), e u e v, so o Laplaciano de u e v tambm

Figura 07. Imagem sinttica criada com pequeno movimento relativo: a) Circulo posicionado prximo ao centro do retngulo. b) o mesmo circulo com um deslocamento para esquerda e para baixo.

Aps insero das imagens no algoritmo, definio de uma iterao do processo sobre as duas imagens, o Fluxo ptico retornou o seguinte grfico de agulhas.

7.3 Terceiro experimento.

Para o terceiro experimento foi fotografada uma cena, onde existem alguns objetos e somente um deles se desloca entre uma cena e outra.

Figura 08. Grfico do Fluxo ptico para as imagens apresentadas na figura 07, aps uma iterao.

Foi realizado um teste tambm, aps a 3 iterao:

Figura 12. Cena construda e fotografada em ambiente interno, o movimento entre as duas cenas est no deslocamento de trem para a segunda cena.

Figura 09: Grfico do Fluxo ptico para as imagens apresentadas na figura 07, aps trs iteraes.

Observa-se deste ltimo grfico, que com trs iteraes o resultado comea a ficar um pouco confuso, existindo mais linhas sobrepostas.

Figura 13. Grfico do Fluxo ptico para as imagens apresentadas na figura 12, aps uma iterao.

7.2. Segundo experimento.

Para o segundo experimento foi criada uma cena de uma estrada onde o movimento entre as duas imagens devido a aproximao em relao placa.

Figura 14. Uma ampliao no grfico do Fluxo ptico apresentado na figura 13. Figura 10: Imagem sinttica de uma estrada. O movimento aparente entre as duas imagens est no efeito de movimento em direo a sinalizao central.

Figura 11. Grfico do Fluxo ptico para as imagens apresentadas na figura 10, aps uma iterao.

Figura 15. Uma sobreposio da cena fotografada e o mapa do Fluxo ptico correspondente a mesma.

7.3 Analise dos resultados experimentais.

Podemos perceber que os resultados obtidos nos Fluxos pticos calculados para este trabalho foram satisfatrios, identificando e apresentado corretamente direo do vetor de movimento entre os pares de imagens testadas. No caso do segundo experimento, devido a existncia de vrios objetos em movimento entre as duas imagens o grfico do Fluxo ptico ficou um pouco confuso por haver grande quantidade vetores e algum deles sobrepostos. O terceiro experimento por ser uma cena fotografada e no sinttica como as demais testadas, o algoritmo baseado em Horn e Schunck apresentouse susceptvel a rudo, mesmo aps uso de filtro gaussiano sobre as duas imagens em teste, porm tal comportamento j era esperado com previsto nos estudos realizados nos captulos anteriores deste trabalho.

muito importante quando decises baseadas nos resultados do Fluxo ptico sero tomadas. Por fim vimos que o clculo do Fluxo ptico uma importante e poderosa ferramenta para estimar o movimento em seqncias de imagens, inmeros estudos so realizados a cada dia para seu aprimoramento e otimizao computacional visando respostas em tempo real, s pesquisas para aplicaes do mesmo vasta e ainda em ascenso.

9. Referncias Bibliogrficas
[1] E.Trucco, A.Verri, Introductory Techniques for 3D Computer Vision, Massachussets Institute of Technology, Massachussets-USA [2] B.Jahne, H.Haubecker, P.Geibler, Handbook of Computer vision and Applications, Interdisciplinary Center for Scientific Computing, HeidelbergGermany. [3] N.Paragios, Y.Chen, O.Faugeras, Handbook of Mathematical Models in Computer Vision, University of Florida, Florida-USA. [4] Mark S. Nixon, Alberto S. Aguado Feature Extraction and Image Processing, New Delhi, India. [5] D. H. Ballard, C.M.Brown, Computer Vision Prentice-Hall, Englewood Cliffs, NJ, 1982. [6] M. Shah, Fundamental of Computer Vision, University of Central Florida, Florida-USA. [7] Allan Jepson, Michael Black, Mixture Models for Optical Flow Comparation Canadian Institute for Advanced Research, University of Toronto-Canada. [8] Berthold K.P. Horn, Brian G. Schunk, Dertemining Optical Flow, Artificial Intelligence Laboratory, Massachusetts Institute of Technology, Cambridge, MA-USA [9] R.L.Barbosa, R.B.Gallis, J.F.Silva, M.M.Junior A computao do fluxo ptico em imagens obtidas por um sistema mvel de mapeamento terrestre, Universidade Estadual Paulista, SP-Brasil [10] M.J.Black, P.Anadan, A framework for the robust estimation of Optical Flow, Department of computer Science, University of Toronto, TorontoCanada. [11] M.J.Black, Robust Incremental Optical flow Philosofy Doctor Thesis, Yale University 1992, USA. [12] J.L.Barron, N.A. Thacker, Computing 2D and 3D Optical Flow, Imaging Science and Biomedical Engineering Division, University of Manchester. [13] R.L.Barbosa, R.B.A.Gallis, J.Silva,M.M.Junior A computao do fluxo optico em imagens obtidas por um sistema mvel de mapeamento terrestre, Universidade Estadual Paulista UNESP, Fac. De Cincias e Tecnologia, SP BRASIL.

8. Concluses:
Movimento uma propriedade intrnseca do mundo e uma parte integral de nossa experincia visual [03]. Com esse pensamento podemos perceber a importncia do clculo do movimento entre seqncia imagens e os diversos tipos de informaes que podemos extrair dos seus resultados e fazer uso destes resultados em inmeras aplicaes: Interpretao de cena, navegao exploratria, acompanhamento de objetos, avaliao de tempo de coliso de um corpo contra o outro, segmentao de objetos, viso robtica, vigilncia, etc. Atravs dos estudos acima e dos experimentos pode-se constatar que o Fluxo ptico extrado com sucesso, se suas restries e suposies forem rigorosamente satisfeitas: Reflectncia Lambertiana (brilho uniforme em todas as direes), fonte de iluminao uniforme e constante, pequeno movimento relativo entre as seqncias de imagens, sem descontinuidade de reflexo, etc... O mtodo de Horn e Shunck se mostrou eficiente quando teve como entrada, seqncias de imagens que respeitaram suas restries e suposies. Em imagens onde continham espaamento de tempo maior entre uma imagem e outra, este mtodo no retornou resultados satisfatrios O cuidado na escolha do intervalo de captao das imagens para o uso deste mtodo deve ser levado em conta quando se desejar realizar uma aplicao baseados em seus resultados. Outro cuidado que se deve ter no sistema de captura o rudo, vimos nos experimentos que este mtodo muito susceptvel ao rudo, devido sua alta densidade, ento o estudo do rudo presente no sistema de captao das imagens tambm se torna