Visão Robótica

Prof. MEng. Felipe Sanches Gurgel

Universidade Paulista
2016

Universidade Paulista Aula Setembro de 2016

 Índice

1. Introdução
2. Formação de Imagens
3. Imagem Digital
4. Processamento de Imagens Digitais
5. Reconhecimento de Objetos
6. Aplicações de Visão Robótica

Universidade Paulista Prof. MEng. Felipe Sanches Gurgel Setembro de 2016

 Visão Robótica Introdução

Visão Robótica - Introdução

“Visão se mostra como um dos sentidos mais importantes para a

interação de um agente (humano ou robótico) com o mundo.”
Anna H. R. Costa

Visão Computacional (entendimento de imagens ou visão de máquinas):

 Determinação automática da estrutura e propriedades do
ambiente tridimensional no qual o agente está inserido:
i. depende de uma ou mais imagens bidimensionais do ambiente.
 As imagens podem ser monocromáticas ou coloridas:
i. capturadas por uma ou mais câmeras;
ii. estacionárias ou móveis.

Universidade Paulista Prof. MEng. Felipe Sanches Gurgel Setembro de 2016

 Visão Robótica Introdução

 A estrutura ou propriedades a serem extraídas do ambiente podem ser:

i. geométricas (formas, dimensões, localizações de objetos, etc);
ii. ou materiais (cores, texturas, etc.).
 Visão não é uma tarefa simples.

Universidade Paulista Prof. MEng. Felipe Sanches Gurgel Setembro de 2016

 Visão Robótica Introdução

 Agente não precisa conhecer tudo sobre o ambiente.

 Tarefas como:
i. manipulação;
ii. segurar peças;
iii. encaixar;
iv. inserir, etc;
São realizadas através da forma e localização das peças.
 Em tarefas de navegação, ações como:
i. encontrar caminho livre;
ii. evitar obstáculos;
iii. calcular velocidade e orientação, etc;
Não é necessário descrição completa do ambiente.

Universidade Paulista Prof. MEng. Felipe Sanches Gurgel Setembro de 2016

 Visão Robótica Formação de Imagens

Formação de Imagens
 O olho humano forma uma imagem invertida da cena em sua retina.

 A retina captura a imagem, codifica-a e transmite ao cérebro.

 A câmera de um sistema de visão computacional faz o mesmo.

Universidade Paulista Prof. MEng. Felipe Sanches Gurgel Setembro de 2016

 Visão Robótica Formação de Imagens

 A formação de imagem ocorre quando o sensor registra radiação que

interagiu com objetos físicos.

Universidade Paulista Prof. MEng. Felipe Sanches Gurgel Setembro de 2016

 Visão Robótica Formação de Imagens

Geometria do Imageamento
 O dispositivo de imageamento mais simples existente é a câmara
“pinhole”.
 Geometria da imagem é bem modelada pela projeção perspectiva:
- Projeção de uma entidade tridimensional em uma superfície
bidimensional, determinada por retas que passam por um único ponto,
chamado centro de projeção.

Câmara Pinhole Modelo Geométrico por Projeção Perspectiva

Universidade Paulista Prof. MEng. Felipe Sanches Gurgel Setembro de 2016

 Visão Robótica Formação de Imagens

Geometria do Imageamento

 Para que informações geométricas 3D sejam derivadas das imagens 2D,

torna-se necessário determinar a relação entre a posição de um ponto na
cena e a posição em sua imagem.
 Esta determinação recebe o nome de calibração da câmara.

Universidade Paulista Prof. MEng. Felipe Sanches Gurgel Setembro de 2016

 Visão Robótica Formação de Imagens
Radiometria

 O brilho de um ponto p na imagem é proporcional à quantidade de luz

direcionada à câmara por uma superfície.
 A quantidade de luz depende:
i. da reflectância da superfície;
ii. e da distribuição das fontes de luz.
 Fontes indiretas de luz também afetam a quantidade de luz na superfície.
 Superfícies difusas apresentam o mesmo brilho ao observador,
independente da posição do mesmo.
 Superfícies especulares refletirão somente no mesmo sentido do
plano dos raios incidentes, tendo ambos o mesmo ângulo.

Universidade Paulista Prof. MEng. Felipe Sanches Gurgel Setembro de 2016

 Visão Robótica Formação de Imagens

Radiometria
 Resumindo:
i. Modela-se quanta luz é refletida pelas superfícies dos objetos;
ii. Modela-se quanto da luz refletida realmente chega ao plano
imagem.

Universidade Paulista Prof. MEng. Felipe Sanches Gurgel Setembro de 2016

 Visão Robótica Formação de Imagens

Sensoriamento
 Através do sensoriamento, pode-se transformar uma imagem ótica em
uma imagem elétrica.
 Vários sensores podem ser usados para esta função.
 O sensor mais usado é a câmara CCD (Charge Coupled Device):
i. Possui uma matriz de elementos fotossensíveis;
ii. Os elementos são integrados num chip;
iii. As câmaras enviam sinais analógicos para uma placa
digitalizadora de imagens;
iv. A placa converte o sinal analógico para digital, possibilitando
seu processamento.

Universidade Paulista Prof. MEng. Felipe Sanches Gurgel Setembro de 2016

 Visão Robótica Formação de Imagens

Sensoriamento
Câmara CCD

Universidade Paulista Prof. MEng. Felipe Sanches Gurgel Setembro de 2016

 Visão Robótica Formação de Imagens

Sensoriamento
 Sistemas de automação industrial, podem usar da tecnologia de luz estruturada:
i. O próprio sensor projeta uma estreita faixa de luz nos objetos;
ii. Essa faixa de luz, facilita a determinação da forma do objeto;
iii. Também pode facilitar a determinação da distância.

Universidade Paulista Prof. MEng. Felipe Sanches Gurgel Setembro de 2016

 Visão Robótica Imagem Digital

Imagem Digital
 Imagem Digital é uma matriz de inteiros, onde cada inteiro representa
o brilho da imagem num tempo discreto e num ponto discreto do plano da
imagem.
 Um ponto desta matriz é denominado pixel.

Universidade Paulista Prof. MEng. Felipe Sanches Gurgel Setembro de 2016

 Visão Robótica Imagem Digital

 A transformação de uma imagem elétrica para digital, envolve dois

processos:
 Processo de Amostragem: discretiza o domínio da função imagem,
fornecendo a cada ponto discreto o valor da função naquele ponto.
 Processo de Quantização: discretiza a faixa de variação da função,
mapeando o valor da função em cada ponto.
 Usualmente, aplica-se o range: 0 (preto) a 255 (branco).

Imagem Matriz da Imagem

Universidade Paulista Prof. MEng. Felipe Sanches Gurgel Setembro de 2016

 Visão Robótica Processamento de Imagens Digitais

Processamento de Imagens Digitais

 Um dos objetivos mais comuns no processamento de imagens consiste
em eliminar ruídos e extrair as bordas (edges) contidas numa imagem.

 Bordas são curvas no plano de imagem através das quais existe uma
significante mudança no brilho.

 Bordas correspondem a importantes contornos da cena e possibilitam

sua interpretação.

Universidade Paulista Prof. MEng. Felipe Sanches Gurgel Setembro de 2016

 Visão Robótica Processamento de Imagens Digitais

 Tipos de bordas:

 Alguns operadores podem ser aplicados para evidenciar pixels

pertencentes à bordas. São eles:
i. Operadores pontuais;
ii. Operadores locais;
iii. Operadores globais.

Universidade Paulista Prof. MEng. Felipe Sanches Gurgel Setembro de 2016

 Visão Robótica Processamento de Imagens Digitais

Operadores Pontuais
 Operadores pontuais são aqueles nos quais os valores resultantes de
brilho num pixel dependem somente de seu valor anterior.
 Exemplos destes operadores:
i. Operações aritméticas entre imagens;
ii. Limiarização;
iii. Manipulação do histograma da imagem.

Histograma de uma imagem monocromática

Universidade Paulista Prof. MEng. Felipe Sanches Gurgel Setembro de 2016

 Visão Robótica Processamento de Imagens Digitais

Operadores Pontuais
 Limiarização consiste em dividir uma imagem por regiões.
 A binarização é um caso particular da limiarização, onde a imagem é
dividida em branco e preto, de acordo com um limiar L.
 Pixels com tom de cinza acima de L, recebem 1 (branco) e recebem 0
(preto) no caso contrário.

Universidade Paulista Prof. MEng. Felipe Sanches Gurgel Setembro de 2016

 Visão Robótica Processamento de Imagens Digitais

Operadores Locais
 Operadores locais são aqueles que se utilizam de uma janela (ou
máscara) envolvendo o pixel de interesse e seus vizinhos.
 O valor resultante de um pixel é função dos valores do referido pixel
e seus vizinhos inclusos na janela.
 Estes operadores podem ser lineares:
i. Operador de média;
ii. Operador gradiente;
iii. Operador laplaciano.
 Ou não-lineares:
i. Operador Min;
ii. Operador Max;
iii. Operador mediano.

Universidade Paulista Prof. MEng. Felipe Sanches Gurgel Setembro de 2016

 Visão Robótica Processamento de Imagens Digitais

Operadores Locais
Operadores Lineares
 O operador de média suaviza a imagem, pois substitui cada pixel pela
média dos pixels inclusos na janela envolvente.
 Os operadores gradiente e laplaciano têm efeito oposto ao da média,
pois acentuam as diferenças dos valores dos pixels.

Universidade Paulista Prof. MEng. Felipe Sanches Gurgel Setembro de 2016

 Visão Robótica Processamento de Imagens Digitais

Operadores Locais
Operadores Não-Lineares
 O operador Min é usado para eliminar picos de altos valores de brilho,
sem suavizar a imagem inteira.
 consiste em colocar uma janela ao redor de cada pixel e analisar
todos os valores contidos na janela, buscando o mínimo valor, que
será adotado como novo valor do pixel central da janela.
 O operador Max é o oposto do Min.

Universidade Paulista Prof. MEng. Felipe Sanches Gurgel Setembro de 2016

 Visão Robótica Processamento de Imagens Digitais

Operadores Locais
Operadores Não-Lineares
 Exemplo dos operadores não-lineares, Min e Max, para janela 3x3 e sua
aplicação: (a) imagem original; (b) após operador Min e (c) após operador
Max.

Universidade Paulista Prof. MEng. Felipe Sanches Gurgel Setembro de 2016

 Visão Robótica Processamento de Imagens Digitais

Operadores Locais
Operadores Não-Lineares
 O operador Mediano une as funções de Min e Max, evitando suas
desvantagens, porém com um acréscimo no custo computacional.
 Consiste em ordenar os valores contidos na janela ao redor do pixel
analisado, assinalando como novo valor do pixel o valor mediano da lista
ordenada.

Universidade Paulista Prof. MEng. Felipe Sanches Gurgel Setembro de 2016

 Visão Robótica Processamento de Imagens Digitais

Operadores Globais
 Um exemplo típico de operador global é a Transformada de Fourier.
 A imagem é uma função que varia espacialmente. Deste modo:
i. Pode-se aplicar a Transformada de Fourier (discreta) para que a
imagem seja transportada para o domínio da frequência espacial.
ii. baixas frequências espaciais correspondem a uma imagem
com o nível de cinza variando suavemente.
iii. altas frequências espaciais correspondem a variações bruscas
no nível de cinza da imagem.
 Diversas filtragens e manipulações na imagem podem ser feitas no
domínio da frequência espacial.

Universidade Paulista Prof. MEng. Felipe Sanches Gurgel Setembro de 2016

 Visão Robótica Processamento de Imagens Digitais

Segmentação
 A determinação de regiões homogêneas numa imagem é denominada
segmentação da imagem e possibilita, portanto, a interpretação semântica
da cena.

Universidade Paulista Prof. MEng. Felipe Sanches Gurgel Setembro de 2016

 Visão Robótica Processamento de Imagens Digitais

Segmentação
 Uso exclusivo de detecção de bordas pode não ser adequado à
segmentação, pois:
i. Alguma parte da borda pode apresentar baixo contraste e não
ser detectada.
ii. Muitas bordas podem ser ruídos, sombras ou marcas não
importantes à superfície.

 Tornam-se necessários métodos complementares para

segmentação.

Universidade Paulista Prof. MEng. Felipe Sanches Gurgel Setembro de 2016

 Visão Robótica Processamento de Imagens Digitais

Segmentação
 Basicamente, têm-se duas abordagens para a segmentação:
i. Por análise das descontinuidades (nos níveis de cinza)
existentes na imagem – que correspondem à detecção de bordas;
ii. E por análise das similaridades entre elementos próximos.

Universidade Paulista Prof. MEng. Felipe Sanches Gurgel Setembro de 2016

 Visão Robótica Processamento de Imagens Digitais

Segmentação
Segmentação por Descontinuidade

 Com as bordas bem definidas pelos operadores, busca-se associar os pixels a

modelos de objetos de domínio.
 Para isso, a imagem é particionada segundo variações bruscas nos valores
dos pixels.
 Para gerar as partições, os seguintes métodos podem ser empregados:
i. Método de conexão de Robert (análise de direção do gradiente);
ii. Transformada de Hough (aplicação de retas paramétricas);
iii. Grafos.

Universidade Paulista Prof. MEng. Felipe Sanches Gurgel Setembro de 2016

 Visão Robótica Processamento de Imagens Digitais

Segmentação
Segmentação por Similaridade
 Consiste em agregar pixels com características similares (brilho) em
regiões.
 Se vários pontos pertencem à uma mesma região, então, todos estes
pontos estão conectados.
 Um ponto x em uma região R está conectado a outro ponto y se existir
uma sequência {x,...,y} tal que quaisquer pontos dentro do intervalo são
conectados e todos estão em R.
 R é uma região conectada se todos os pontos em R formarem pares de
pontos conectados.
 Uma imagem, será a união de todas as regiões.
 As regiões são disjuntas, isto é: com .

Universidade Paulista Prof. MEng. Felipe Sanches Gurgel Setembro de 2016

 Visão Robótica Processamento de Imagens Digitais

Segmentação
Segmentação por Similaridade

 Na segmentação por similaridade, os métodos mais usados são:

1. Limiarização
i. Determina-se picos e vales em histogramas;
ii. O pico mais alto é selecionado;
iii. Determina-se dois valores limites (nos vales anterior e posterior);
iv. Divide-se a imagem em sub-regiões, com base nestes valores;
v. Repete-se o procedimento para cada sub-região, até que não
existam mais picos significativos no histograma.

Universidade Paulista Prof. MEng. Felipe Sanches Gurgel Setembro de 2016

 Visão Robótica Processamento de Imagens Digitais

Segmentação
Segmentação por Similaridade
 Na segmentação por similaridade, os métodos mais usados são:
2. Split-and-merge
i. Divide-se em quatro regiões disjuntas qualquer região Ri;
ii. Onde o critério de homogeneidade não for satisfeito H(Ri)=FALSE;
iii. Agrega-se quaisquer regiões adjacentes para as quais
H(RiURj)=TRUE;
iv. Repete-se o procedimento até que não seja mais possível fazer
divisões nem agregações.

Universidade Paulista Prof. MEng. Felipe Sanches Gurgel Setembro de 2016

 Visão Robótica Processamento de Imagens Digitais

Segmentação
Segmentação por Similaridade
 Na segmentação por similaridade, os métodos mais usados são:
3. Rotulação (exemplo para imagem binária)
i. Considera-se o fundo = 0 e objetos = 1;
ii. Rastrea-se a imagem de forma cíclica;
iii. Considera-se Xa = pixel atual
Xs = pixel superior
Xe = pixel à esquerda
f(x) = brilho do pixel
iv. Aplica-se o seguinte algoritmo.

Universidade Paulista Prof. MEng. Felipe Sanches Gurgel Setembro de 2016

 Visão Robótica Processamento de Imagens Digitais
Segmentação
Segmentação por Similaridade
 Algoritmo de segmentação por similaridade através do método de rotulação.

 Exemplo simples de rotulação.

Universidade Paulista Prof. MEng. Felipe Sanches Gurgel Setembro de 2016

 Visão Robótica Reconhecimento de Objetos

Reconhecimento de Objetos
 Consiste em identificar e determinar a posição e orientação de cada
objeto na cena, em relação à câmera.

 Depende da calibração para determinação da localização de objetos

em relação a um sistema de coordenadas do ambiente (ou do robô).

 A calibração da câmera fornece a relação:

(unidade de medida da imagem)/(unidade de medida real)

 Deve-se relacionar a posição da câmera com a posição do objeto

na cena.

Universidade Paulista Prof. MEng. Felipe Sanches Gurgel Setembro de 2016

 Visão Robótica Reconhecimento de Objetos

 A área A de uma região, consiste na somatória dos pixels de um

mesmo rótulo.

 O perímetro P pode ser calculado pela somatória dos pixels

pertencentes à borda de interesse.

 A compactividade C de uma região é definida como sendo a relação:

C = P²/4πA

 O centróide corresponde ao centro de área e é usado para determinar a

posição dos objetos na cena através das seguintes relações:

Universidade Paulista Prof. MEng. Felipe Sanches Gurgel Setembro de 2016

 Visão Robótica Reconhecimento de Objetos

 Exemplo de cálculo do centróide (posição de um objeto) para uma

imagem 10x10, com quina superior esquerda (0,0) e região de interesse na
posição de (1,2) à (5,8).

Universidade Paulista Prof. MEng. Felipe Sanches Gurgel Setembro de 2016

 Visão Robótica Reconhecimento de Objetos

 Após a extração dos atributos da imagem, corresponde-se os atributos e

informações extraídos da imagem àqueles previamente armazenados como
modelos.

 Essa fase consiste do treinamento do sistema de visão.

 A correspondência entre dados extraídos e modelos pode se dar através de

um classificador estatístico, permitindo variações estatísticas no processo
de comparação.

 Na comparação, o conjunto de atributos (do modelo e da imagem) deve

conter elementos suficientes para evitar-se falsos positivos e falsos negativos.

 A fase de treinamento, normalmente, se dá através de treinamento

supervisionado.

Universidade Paulista Prof. MEng. Felipe Sanches Gurgel Setembro de 2016

 Visão Robótica Reconhecimento de Objetos

Resumindo
 Principais etapas de um sistema de visão computacional.

Universidade Paulista Prof. MEng. Felipe Sanches Gurgel Setembro de 2016

 Visão Robótica Aplicações de Visão Robótica

Aplicações de Visão Robótica

 As aplicações de visão em robótica incluem: inspeção, montagem, classificação,
navegação, reconhecimento e manipulação, garantia de qualidade, entre outros.

Universidade Paulista Prof. MEng. Felipe Sanches Gurgel Setembro de 2016