Point Cloud RGB-D com filtro WLS em tempo real

1. Introduo
O crescimento do campo da robotica movel tem aumentado a demanda de tecnicas de
sensoriamento que possibilitem a recuperao de informaes espaciais em trs dimenses,
permitindo navageo e planejamento mais precisos em ambientes desafiadores. A representao
mais comum para dados tridimensionais a Nuvem de Pontos (Point Cloud) onde os dados so
representados como pontos N-dimensionais, podendo conter informaes relativas a cor, posio ou
intensidade luminosa. Os dispositivos mais comuns para gerar pointclouds so o LIDAR (da sigla
inglesa Light Detection And Ranging) que opera medindo as propriedades de um determinado
objeto utilizando um feixe de laser, e a Camera Estero, que compara pontos semelhantes em
imagens tiradas a partir de referenciais distintos para obter sua distancia. A utilizao da camera
estereo tambem permite a fusao entre os dados relativos a distancia e cor para a criao da chamada
pointcloud RGB-D.

2. Reviso Bibliografica
O avano dos algoritimos de correspondencia estereo tem possiblitado a obteno de mapas
de disparidade com qualidade crescente a um custo computacional cada vez menor, algoritimos
como SGBM(da sigla inglesa semi global block matching) tem se mostrado eficazes para
correspondencia estereo em tempo real (Gehrig, Stefan K., and Clemens Rabe).
Simultaneamente, foram desenvolvidos algoritmos de filtragem sensvel a borda, atravs de
uma implementao eficiente do algoritimo de filtro WLS( do ingls, weighted least squares)
atrves do chamado fast global smothing (Min, Dongbo, et al.). Tal filtragem pode ser aplicada
com sucesso na obteno de melhores imagens de disparidade, como mostrado por Min, Dongbo,
and Kwanghoon Sohn.
No ambito do processamento de nuvem de pontos, diversos mtodos de filtragem e reduo
de ruidos tem sido propostos. Implementaes eficientes de tais algoritimos esto disponiveis na
bibliotca de codigo aberto Point Cloud Library apresentada por Rusu, Radu Bogdan, and Steve
Cousins.

3. Metodologia
3.1 Calibrao da Camera e Retificao das imagens
A remoo de distoroes fundamental para a boa correspondencia entre pontos e gerao
da imagem de disparidade, dado que reduz significantemente o espao de busca. Considerando um
modelo de camera pinhole as duas principais formas de distoroes so a radial e tangencial.
A distoro radial se caracteriza pela aparencia de olho de peixe e sua correo pode ser
feita usando as seguintes formulas:

(1)
A distoro tangencial se da devido a lente da camera no estar perfeitamente paralela com o
plano da imagem e pode ser corrigida segundo as formulas:

(2)
Para corrigir tais distores, foram necessarios descobrir os coeficientes de distoro dado
por:

(3)
Tambm necessaria a obteno da distancia focal da camera fc = (fx,fy) e os centros opticos
expressados em coordenadas de pixel c = (cx,cy). Tais valores so necessarios para realizar a
converso de unidades para valores de distancia, a transformao utilizada para tal converso,
descrita como:

(4)
Para determinar os valores de (3) e (4) foram utilizadas diversas imagens de um mesmo
padro quadriculado tiradas pela camera. Com as imagens foram feitas a deteco de pontos
semelhantes que foram utilizados para solucionar a equao que resulta nos coeficientes de
distoro e parametros da camera.

3.2 Correspondencia Estreo e Filtragem

A correspondencia estreo se caracteriza pela localizao de pontos comuns nas imagens
direita e esquerda da camera estereo. Para isso foi utilizado um algoritimos de comparao de
bloco semi global (Semi-global block matching). O funcionamento do algoritimo pode ser
simplificado da minimizaao da funo:
(5)
onde D a imagem de disparidade, que deve ser modificada para a minimizao da funo, e p
representa um ponto da imagem original.
Assim, o primeiro termo da funo representa a soma do custo de matching para todos os
pixeis da imagem, e o segundo e terceiro adicionam uma penalidade para regioes com
descontinuidades onde a disparidade de um pixel bem diferente a de seus vizinhos.
Para reduzir a complexidade algortimica do problema a computao realizada
unidimensionalmente por direes diferentes para um mesmo pixel, resultando em uma melhor
correspondencia.
Porm, a aplicao da correspondencia estreo deixa a desejar por apresentar regioes de
ocluses (onde no possivel localizar os pontos que se deseja comparar) e por falhar em regioes
com texturas similares onde no possvel localizar pontos semelhantes devido a falta de
informaes.
(descrever filtro WLS melhor aplicado a matching stereo)

3.3 Criao da nuvem de pontos

Tendo o mapa de disparidade, foi realizada a reprojeo do mesmo para coordenadas
espaciais, utilizando a matriz de paramentros da camera (4).
(descrever equaes de projecao 2d-3d)
importante notar que devido a caracteristicas do algoritimo de correspondencia, o resultado inicial
da pointcloud apresenta ruidos que comprometem a aplicao pratica da nuvem de pontos. Portanto,
se fez necessaria a aplicaa de procedimentos de filtragem, realizados sobre a pointcloud
utilizando
Filtragem dimensional utilizando grid de voxels:
A nuvem de pontos foi primeiramente dividida em N regies cubicas de dimenses
definidas empiricamente, foi calculado o centro de massa de todos os pontos contidos em cada
regiao de acordo com a equao:

(6)
A seguir a pointcloud filtrada foi contruida com N pontos de coordenadas Xn Yn representando o
centro de massa de todos os pontos contidos na regiao n da poitncloud original. Tal filtragem reduz
a dimenso da pointcloud mantendo sua forma, sendo importante tanto para a reduo no tempo de
execuo do programa quanto a posterior reduo do ruido.
Filtragem de outlier utilizando filtro estatistico:
Para um ponto p com k de vizinhos, sendo k definido empiricamente, foram computadas o
desvio padro entre as distancias euclidianas entre os mesmos. A seguir para cada ponto foi definido
um valor de threshold t, tal que se o desvio padro entre p e seus k vizinhos for maior que t, p
ser removido da nuvem de pontos. Esse filtro tem um papel fundamental na reduo do ruido que
particularmente grande em pointclouds geradas a partir de imagens estereo.
Finalmente, a informao de cor da imagem original foi inserida nos pontos, partindo do
principio do alinhamento entre a imagem de disparidade e da imagem original. Sendo assim, cada
ponto possui 6 dimensoes, trs coordenadas espaciais e trs canais de cor.

4. Procedimento Experimental e Resultados

4.1 Desvolvimento do projeto
Primeiramente foi feita a calibrao da camera utilizando 25 pares de imagens de um mesmo
padro quadriculado, retiradas de angulos variados. O processo de calibrao foi feito seguindo os
conceitos apresentados na sesso 3.1, afim de obter uma imagem com o menor ruido possvel.
A seguir, a camera foi configurada para se integrar a plataforma ROS, a qual serviu como
base para todo o trabalho.

4.2

Referencias:
1. Referencia Sobre LIDAR
2. Gehrig, Stefan K., and Clemens Rabe. "Real-time semi-global matching on the CPU." 2010 IEEE
Computer Society Conference on Computer Vision and Pattern Recognition-Workshops. IEEE, 2010.
3. Rusu, Radu Bogdan, and Steve Cousins. "3d is here: Point cloud library (pcl)." Robotics and Automation
(ICRA), 2011 IEEE International Conference on. IEEE, 2011.
4. Min, Dongbo, et al. "Fast global image smoothing based on weighted least squares." IEEE Transactions
on Image Processing 23.12 (2014): 5638-5653.
5. Min, Dongbo, and Kwanghoon Sohn. "Cost aggregation and occlusion handling with WLS in stereo
matching." IEEE Transactions on Image Processing 17.8 (2008): 1431-1442.
6. Hirschmller, Heiko. "Semi-global matching-motivation, developments and applications." Photogrammetric
Week 11 (2011): 173-184.