Sei sulla pagina 1di 198

1 S.

Paciornik DEMa PUC-Rio


Processamento Digital de Imagens

Curso de ps-graduao oferecido pelo

Grupo de Anlise de Imagens e Microscopia Digital
Depto. de Engenharia de Materiais
Prof. Sidnei Paciornik
sidnei@puc-rio.br

www.dema.puc-rio.br/cursos/ipdi/index.html
ltima atualizao: 11/03/2013
2 S. Paciornik DEMa PUC-Rio
Como usar este site
Este site foi criado com uma ferramenta simples de converso de
arquivo PowerPoint para arquivos web.
Os recursos so simples mas voc poder acompanhar exatamente a mesma
seqncia mostrada em sala de aula.
Este site s funciona corretamente com o Internet Explorer. Caso voc utilize o
Firefox ou o Chrome, recomendamos instalar o IETab, uma extenso que simula
pginas do Internet Explorer como uma aba do navegador.
http://www.ietab.net/home
Diversos slides tm animao.
Clique com o mouse dentro da rea do slide para visualizar os passos da animao.
Quando a seqncia de animao de um slide chega ao fim, voc deve usar as setas
na base da tela para navegar.
Se voc optar pela opo Slide Show, os slides ocupam a tela toda. As animaes
avanam com o click do mouse. Caso queira retornar ou passar para o prximo
slide sem ver a animao, use as setas rosas no canto superior direito do slide.
3 S. Paciornik DEMa PUC-Rio
Programa
Introduo
Viso geral e aplicaes
As etapas do processamento e anlise de imagens
Digitalizao de Imagens
Amostragem e quantizao
Tipos de pixel e tamanhos dos arquivos digitais
Compromissos de resoluo, velocidade e tamanho de
arquivo
Digitalizadores, scanners, vdeo, cmeras digitais
Operaes Pontuais
O histograma de uma imagem. Brilho e contraste
Modificao de histograma, realce de contraste
Definio de operao pontual. Exemplos
Operaes Algbricas e Lgicas
Soma, subtrao, multiplicao e diviso de imagens.
Aplicaes
Operaes lgicas em imagens binrias
Operaes Locais
A definio de mscara de convoluo (kernel)
Operadores lineares e filtragem espacial
Operadores no lineares. Localizao e realce de
bordas
Operaes Geomtricas
Ampliao e reduo
Interpolao em tons de cinza
Distores
Segmentao
A segmentao como operao pontual. Limiarizao
manual e automtica.
A segmentao como operao local.
Deteco de bordas
Operaes morfolgicas
Morfologia para correo da segmentao.
Eroso, dilatao, abertura e fechamento.
O mtodo do divisor de guas.
Extrao de Atributos
Medir, objetivo final. O que medir ?
Atributos de tamanho, forma, posio e intensidade.
Segmentao a partir de medidas.
Classificao e Reconhecimento
Classificao supervisionada e no supervisionada.
Treinamento.
Escolha de atributos e combinao de atributos.
Transformadas de Imagens
A transformada de Fourier, suas propriedades e
aplicaes
Os domnios espacial e da frequncia
Filtragem, convoluo, correlao cruzada e auto-
correlao
Reconhecimento de padres
Implementao e custo computacional. A Fast Fourier
Transform (FFT)
A transformada de Hough e outras transformadas

4 S. Paciornik DEMa PUC-Rio
Critrio/Referncias
Critrio de Aprovao
Listas de Exerccio tericas/prticas Li
Mdia das Listas ML
Monografia terica/prtica T
MF = 0.6 * T + 0.4 * ML
Bibliografia
S. Paciornik Notas de aula (estas notas em
formato pdf 18 Mbytes)
R.C. Gonzalez & R. Woods - "Digital Image
Processing" Prentice Hall (2007)
J.C. Russ - "Computer-Assisted Microscopy"
- Plenum Press (1991) e The Image
Processing Handbook - CRC (2011).
K. R. Castleman - "Digital Image
Processing" - Prentice Hall (1995)
S. Paciornik and M.H.P. Mauricio Digital
Imaging in ASM Handbook:
Metallography and Microstructures (2004).
O. Gomes Processamento e Anlise de
Imagens aplicados Caracterizao
Automtica de Materiais Dissertao de
Mestrado PUC-Rio (2001)
Software utilizado
FIJI, programa livre que contm o famoso
software ImageJ desenvolvido pelo
National Institutes of Health, USA
As listas trabalhos do curso sero
realizadas com este software.
Outros programas
AxioVision Carl Zeiss Vision
Digital Micrograph Gatan Inc.
KS400 Carls Zeiss Vision
Irfan View
Prtico programa para leitura e converso
de diferentes arquivos de imagem, com
operaes bsicas de processamento.
A Diversidade das Imagens Digitais
6 S. Paciornik DEMa PUC-Rio
Nbula Imagem de satlite Rocha (microscpio tico)
Bambu (microscpio tico)
Pincelada (macro) Catalisador (scanner)
Dente (microscpio eletrnico)
tomos de Ti (mic. elet. Transmisso)
Ao X80 (Mic. eletrnico
Compsito (mic. Eletrnico)
7 S. Paciornik DEMa PUC-Rio
A Imagem Digital
Um mundo de quadradinhos
pixel
Qualidade depende da
Quantidade de pontos resoluo
Quantidade de cores - quantizao
120, 122, 120 181, 155, 134
Mn = 0
Mx = 255
84, 84, 83 132, 109, 100
Modelo RGB
(Red, Green, Blue)
8 S. Paciornik DEMa PUC-Rio
Processar uma imagem
Usar operaes matemticas para alterar os valores dos pixels de
uma ou mais imagens
Melhorar a qualidade da imagem
Para que o observador veja melhor
Para preparar a imagem para ser analisada pelo prprio computador
(anlise de imagens)
9 S. Paciornik DEMa PUC-Rio
Realce de Contraste
Imagem original com baixo contraste Imagem aps expanso de contraste automtica
Note a formao de faixas de tonalidade
constante, com transies abruptas.
10 S. Paciornik DEMa PUC-Rio
Pseudo-Cores
Imagem original com 3 faixas tonais Imagem aps aplicao de pseudo-cores
Note a variaco de cor do vermelho, no centro,
para o laranja, na periferia, revelando
problema de iluminao na imagem original.
11 S. Paciornik DEMa PUC-Rio
Correo de Iluminao Irregular
Imagem original com iluminao irregular
Note que o canto superior direito est muito mais
brilhante do que o canto inferior esquerdo.
Imagem aps correo de iluminao
Filtro Passa-Alta
Note a correo do fundo e o aumento de contraste.
12 S. Paciornik DEMa PUC-Rio
Reduo de Rudo Aleatrio
Imagem com rudo
Neste caso, os pixels de rudo tm intensidade
muito mais alta do que seus vizinhos.
Imagem aps reduo do rudo
Filtro Mediana
Note pequenos defeitos residuais nas bordas
dos objetos e da imagem.
13 S. Paciornik DEMa PUC-Rio
Reduo de Rudo Peridico
Imagem com rudo peridico
Note que o rudo ocorre em duas direes, com
freqncias distintas.
Imagem aps reduo do rudo
Filtragem no domnio de Fourier
Note defeitos residuais nas bordas da imagem.
14 S. Paciornik DEMa PUC-Rio
Reduo de Borrado Devido a Movimento
Imagem com perda de nitidez causada
por movimento
Neste caso o movimento retilneo e com velocidade
constante.
Aps desconvoluo recupera-se boa
parte da informao borrada mas aparece
rudo peridico..
15 S. Paciornik DEMa PUC-Rio
Correo de Foco
Imagem fora de foco Imagem aps correo de foco
16 S. Paciornik DEMa PUC-Rio
Correo de Foco em Microscopia ptica
possvel corrigir problemas de foco em imagens que estejam
moderadamente desfocadas.
Em particular, imagens que so consideradas em-foco podem
ser substancialmente melhoradas.
17 S. Paciornik DEMa PUC-Rio
Analisar uma imagem
Extrair informao quantitativa
Fazer medidas semi-automticas ou automticas
Vantagens da Anlise Digital de Imagens
Realiza medidas impossveis de se obter manualmente
Realiza medidas milhares de vezes mais rpido
Realiza medidas muito mais acuradas
18 S. Paciornik DEMa PUC-Rio
Medida de Stress Ambiental em Plantas
Ramos grossos
Ramos finos
19 S. Paciornik DEMa PUC-Rio
Morfometria de Fibras Nervosas
Neurnios com a
bainha de mielina
grossa so
separados
(marcados em
branco),
distinguindo
medulas pobres de
medulas ricas
20 S. Paciornik DEMa PUC-Rio
Anlise de Fibras Musculares
Distino de fibras rpidas (vermelho) e lentas
(azuis).Uma distribuio no uniforme pode
indicar atrofia neuroptica
21 S. Paciornik DEMa PUC-Rio
Anlise de Partculas em Materiais
Partculas duras identificadas Partculas duras alongadas e grandes
22 S. Paciornik DEMa PUC-Rio
Anlise de Material Sinterizado
Material sinterizado Medio da qualidade da sinterizao
23 S. Paciornik DEMa PUC-Rio
Automao em Metrologia de Dureza
286.8 284.1 -0.83
288.2 283.3 -1.70
BLOCK
2
284.5 279.6 -1.73
390.2 388.3 -0.49
393.9 389.5 -1.11
BLOCK
3
389.2 386.6 -0.67
Reference
(BHN)
Measured
(BHN)
Relative
Error (%)

24 S. Paciornik DEMa PUC-Rio
y = 1,37 + -0,0723x R= 0,963
0,9
1
1,1
1,2
1,3
1,4
0 1 2 3 4 5 6 7
Mercury Mass (g)
N
o
r
m
a
l
i
z
e
d

H
u
e

V
a
l
u
e
Colorimetria para Anlise Qumica
25 S. Paciornik DEMa PUC-Rio
Viso Computacional
Tentar dar ao computador um pouco da extraordinria capacidade
do conjunto olho-cerbro humano
Ensinar o computador a reconhecer objetos em imagens e
tomar decises sem interferncia do ser humano
26 S. Paciornik DEMa PUC-Rio
Separao Automtica de Gros
Gros separados previamente
O sistema mede e aprende as
classes existentes.
O sistema analisa uma imagem
misturada e automaticamente
separa os tres tipos de gros.
27 S. Paciornik DEMa PUC-Rio
Reconhecimento de Placas de Automveis
28 S. Paciornik DEMa PUC-Rio
Exemplo Bsico
Imagem Original Fundo Calculado Imagem Corrigida
Partculas Claras Identificadas
Distribuio de reas
No FERETRATIO AREA
1 0,24 4,00
2 0,24 4,00
3 0,24 4,00
4 0,45 7,00
5 0,16 6,00
6 0,33 7,00
7 0,71 9,00
...
1273 0,30 110,00
1274 0,69 89,00
1275 0,37 7,00
1276 0,63 912,00
Base de Dados
29 S. Paciornik DEMa PUC-Rio
Exemplo Sofisticado
Material Sinterizado Segmentao incompleta Partculas Separadas
Medidas sofisticadas
Distribuio de Dimetros
Neste caso, a segmentao da
imagem deve ser seguida por
uma etapa de processamento
morfolgico para permitir a
separao de objetos que se
tocam.
30 S. Paciornik DEMa PUC-Rio
Exemplo Biolgico !!
Imagem biolgica com bactrias filamentares
Identificao dos filamentos e medidas.
Segmentao bsica
Eliminao de objetos pequenos e medida do calibre mximo
Filamento 1
Filamento 2
Filamento 3
31 S. Paciornik DEMa PUC-Rio
A sequncia de Processamento e Anlise
Pr-Processamento/Realce
Classificao e
Reconhecimento
Regies
Pixels
Dados
Qualitativo
Quantitativo
Formao da imagem
Digitalizao da imagem
Segmentao
Ps-Processamento
Extrao de Atributos
32 S. Paciornik DEMa PUC-Rio
A sequncia de Processamento e Anlise
Pr-Processamento/Realce
Classificao e
Reconhecimento
Regies
Pixels
Dados
Qualitativo
Quantitativo
Formao da imagem
Digitalizao da imagem
Segmentao
Ps-Processamento
Extrao de Atributos
Digitalizao da imagem
33 S. Paciornik DEMa PUC-Rio
Reconstrudo
Espao/Tempo
I
n
t
e
n
s
i
d
a
d
e

x
y
Original
Amostra
Digitalizao e Amostragem
O que ?
Converso da informao contida em um sinal da
forma anloga para a forma digital
um problema de amostragem
Amostra-se a intensidade de um sinal que varia no
tempo ou no espao.
Resoluo
Quantizao
Aliasing
Freq.(Sinal) x Freq.(Amostragem)
Teorema de Nyquist
A frequncia de amostragem ideal duas vezes a
frequncia mxima do sinal amostrado.
34 S. Paciornik DEMa PUC-Rio
128 x 128 Pixels
4 tons de cinza
Resoluo e Quantizao
512 x 512 Pixels
4 tons de cinza
Resoluo
DPI - dots per inch
scanners (varivel)
Nmero de pixels
video (fixo)
Exemplo simples
Foto de 5x5 cm - 2x2 in.
Resoluo 300 dpi
Tamanho:600x600 pixels
Quantizao
Nmero de nveis de intensidade.
Tons de cinza.
Tons de cada cor primria.
128 x 128 Pixels
256 tons de cinza
512 x 512 Pixels
256 tons de cinza
35 S. Paciornik DEMa PUC-Rio
Tamanhos dos Arquivos de Imagem
Bits e Bytes
Em um bit pode-se armazenar 2 valores diferentes => 0 e 1.
Em dois bits pode-se armazenar 4 valores diferentes => 00, 01, 10 e 11
Em 8 bits (1 byte) pode-se armazenar 28 (256) valores diferentes.
Seja uma imagem com 2048 x 2048 pixels (4 Mpixels)
256 tons de cinza (8 bits):
x 1 byte/pixel --> 4 MBytes
Tons de cinza alta qualidade (16 bits):
x 2 bytes/pixel --> 8 MBytes
Colorida (RGB 24 bits):
x 3 bytes/pixel --> 12 MBytes
Pixels Reais (processamento/simulao)
x 4 (8) bytes/pixel --> 16(32) MBytes
Pixels Complexos (Transformadas de Fourier)
x 8 (16) bytes/pixel --> 32(64) MBytes
Valores
Inteiros
}
Valores
no-inteiros
(nmeros reais)
}
36 S. Paciornik DEMa PUC-Rio
Formatos de Arquivos
Tipos de arquivos
TIFF (Tagged Image File Format)
Robusto, flexvel, genrico, multi-plataforma
BMP (bit map)
Formato mais comum dentro do Windows
OUTROS: raw, TGA, Sun Raster, formatos prprios
.psd - Photoshop
.zvi AxioVision
Qualquer programa que precise salvar informao especfica junto com imagem.
37 S. Paciornik DEMa PUC-Rio
Formatos comprimidos
Reduzindo o tamanho dos arquivos
A compresso busca reduzir o espao ocupado pelos arquivos
eliminando informao redundante.
Compresso sem perdas (lossless)
Neste caso toda a informao pode ser recuperada.
Normalmente menos eficiente (arquivos maiores).
RLE (PCX, BMP, TGA), LZW (TIFF, GIF, ZIP), Huffman
Compresso com perdas (lossy)
Neste caso sempre existe alguma perda de informao.
Normalmente mais eficiente (arquivos menores).
Usar com cuidado em anlise quantitativa.
Formato mais comum
Jpg (ou jpeg)
J2k (ou jpeg2000) formato mais moderno com maior taxa de compresso.
38 S. Paciornik DEMa PUC-Rio
Compresso JPEG
Original
Compresso JPEG mnima Diferena
Compresso JPEG mxima Diferena
257 kB
105 kB
16 kB
39 S. Paciornik DEMa PUC-Rio
JPEG x JPEG2000
Original
3986 kB
Compresso JPEG
88 kB
Compresso JPEG2000
99 kB
40 S. Paciornik DEMa PUC-Rio
Representao da Imagem
Dados x display
Os pixels podem assumir valores
inteiros ou reais, em grandes faixas.
Os displays de computador
normalmente esto restritos a 256 tons
de cinza e 256 tons para cada cor
primria, num total de 16.7M cores.
Isto implica que deve haver algum
tratamento de dados antes de se
apresentar uma imagem na tela.
Os melhores programas vo buscar
normalizar os dados para os limites do
display.
Min(dados) = 0
Max(dados) = 255
Modos de representao
Raster




3D




Planilha
x
y
R0
R1
R2
R3
R4
R5
R6
C0 C1 C2
-1 V -1 V -1.8 V
-1.8 V -3.4 V -5 V
-1.8 V -2.6 V 2.4 V
4 V 19.2 V 52 V
0 V -1.8 V 16.8 V
3.2 V 9.6 V 29.6 V
1.6 V 0.8 V -37.8 V
41 S. Paciornik DEMa PUC-Rio
Scanners
Scanners
de mesa - originais
opacos/transparentes
de negativos - 35mm, multi-formato
Resoluo/quantizao varivel
at milhares de dpi
at 4 bytes/pixel
necessrio para reproduzir qualidade
de filme fotogrfico
Qualidade MUITO superior a
digitalizadores de sinal de vdeo.

http://www.scantips.com/
Conversor
Analgico/ Digital
Fonte de Luz
Detector linear
Roda de Filtros
Documento
x
y
42 S. Paciornik DEMa PUC-Rio
Digitalizao de Vdeo
Digitalizadores de vdeo
Resoluo amarrada pelos padres.
Standard RS-170 (NTSC)
525 linhas por quadro (485 ativas)
varredura entrelaada 2:1
30 quadros/s ou 60 campos/s
razo de aspectos 4:3
485 x 4/3 = 646.66 pixels quadrados
p/linha (640x480)
Standard CCIR (PAL)
625 linhas por frame (585 ativas)
varredura entrelaada 2:1
25 frames/s ou 50 campos/s
razo de aspectos 4:3
HDTV
1080 linhas por frame
varredura entrelaada 2:1
30 quadros/s ou 60 campos/s
razo de aspectos 16:9 (1920 x 1080)
Linha de Varredura
Retrao horizontal
Retrao vertical
43 S. Paciornik DEMa PUC-Rio
Cmeras CCD
Cmeras CCD
Utilizam um dispositivo integrado
denominado Charge Coupled Device.
Este dispositivo formado por uma
matriz de poos que armazenam
carga.
Aquisio da imagem
A quantidade de carga proporcional
a quantidade de luz.
Leitura (read-out)
Atravs de um circuito controlado por
um clock, as cargas so transferidas
para um circuito de sada atravs de
registradores de deslocamento.
Retirado de http://micro.magnet.fsu.edu
44 S. Paciornik DEMa PUC-Rio
A sequncia de Processamento e Anlise
Pr-Processamento/Realce
Classificao e
Reconhecimento
Regies
Pixels
Dados
Qualitativo
Quantitativo
Formao da imagem
Digitalizao da imagem
Segmentao
Ps-Processamento
Extrao de Atributos
Pr-Processamento/Realce
45 S. Paciornik DEMa PUC-Rio
O Histograma
O Histograma de uma imagem
Distribuio de intensidades dos pixels
Original Brilho aumentado 50% Contraste reduzido 50%
46 S. Paciornik DEMa PUC-Rio
Imagens Coloridas e Modelos de Cor
Pergunta bsica
Como representar adequadamente a percepo cognitiva de cor em
diferentes medias (TVs, monitores de computador, impressoras, etc.)?
Esta representao exige uma adequao da vasta sensibilidade
cromtica do olho humano s propriedades fsicas especficas da media.
Resposta bsica
Modelos de cor que aproximam a sensibilidade visual nas diferentes
medias.
Principais modelos
RGB
CMYK
HSL
L
*
a
*
b
*


47 S. Paciornik DEMa PUC-Rio
O Modelo RGB - Aditivo
As cores geradas no monitor de vdeo do computador so obtidas por um
processo aditivo de trs cores primrias, Vermelho, Verde e Azul
(Red-Green-Blue).
As primrias RGB so adequadas para gerar uma boa frao das cores visveis,
porque o olho humano possui trs tipos de detectores (cones) independentes, com
respostas mximas prximas de R, G e B. (http://health.howstuffworks.com/eye2.htm)
Quando os trs detectores so excitados com diferentes intensidades, ocorre o
processo cognitivo de viso colorida.
O processo denominado aditivo porque decorre da adio das excitaes dos trs tipos
de cones. A cor formada no olho.
Uma pessoa daltnica carece de um ou dois tipos de cones. Por isso no capaz de
reconhecer todas as cores.
As regras bsicas de adio de cores so:
Seja a cor C = xR + yG + zB
x=y=z => tons de cinza de preto (x=0) a branco (x=1)
x=y, z=0 => Amarelo,
y=z, x=0 => Ciano,
x=z, y=0 => Magenta
48 S. Paciornik DEMa PUC-Rio
Histogramas das Componentes
49 S. Paciornik DEMa PUC-Rio
O Modelo CMY(K) - Subtrativo
Quando se usam pigmentos coloridos, o processo de formao da cor final
denominado subtrativo.
Neste caso, cada cor absorve, ou subtrai, da luz incidente, uma faixa do espectro
visvel e reflete o restante.
Por exemplo, o pigmento amarelo reflete uma faixa centrada em torno do amarelo,
deixando passar um pouco de vermelho e de verde.
Um pigmento ciano reflete ciano e um pouco de verde e de violeta.
Ao superpor os dois pigmentos sobre uma superfcie, apenas a cor de interseco entre
eles refletida. Neste caso ser a cor verde. Como sabemos desde a infncia, a mistura de
azul com amarelo resulta na cor verde.
Neste caso, um processo fsico, a absoro, define a cor que chega ao olho.
As primrias no modelo subtrativo so ciano, magenta e amarelo
(Cyan, Magenta, Yellow - CMY)
Correspondem s secundrias do modelo RGB.
Quando utilizados para impresso, raro conseguir
tima saturao apenas com CMY, razo pela qual
adicionada a cor preta (blacK).
Da vem o funcionamento das impressoras jato de tinta,
denominadas CMYK.
50 S. Paciornik DEMa PUC-Rio
Histogramas das Componentes
51 S. Paciornik DEMa PUC-Rio
O Modelo HSL
Um modelo mais intuitivo
O modelo RGB no ideal do ponto de vista cognitivo porque difcil para o operador
humano prever as componentes RGB ou CMYK de uma dada cor.
O modelo HSL (Hue, Saturation and Lightness - Matiz, Saturao e Brilho ) supre parte
desta deficincia ao separar a noo intuitiva de cor na componente matiz.
H
L
S
Preto (L=0)%
Branco (L=100%)
52 S. Paciornik DEMa PUC-Rio
A Look-up Table
A curva de entrada e sada (Look Up Table)
Curva que relaciona os valores originais dos pixels de uma imagem
com seus valores de display.
Reduo de Contraste
Pixels da Imagem
P
i
x
e
l
s

d
o

D
i
s
p
l
a
y

Inverso de Contraste
Pixels da Imagem
P
i
x
e
l
s

d
o

D
i
s
p
l
a
y

Original
Pixels da Imagem
P
i
x
e
l
s

d
o

D
i
s
p
l
a
y

53 S. Paciornik DEMa PUC-Rio
Cor Indexada Pseudo Cor
Pixels da Imagem
P
i
x
e
l
s

d
o

D
i
s
p
l
a
y

54 S. Paciornik DEMa PUC-Rio
A Look Up Table (cont.)
Outros exemplos importantes
0 255
0
255
0 50 100 150 200 250 300 350 400 450 500 550 600 650 700 750 800
0
100
200
300
400
500
Limiarizao
0 255
0 50 100 150 200 250 300 350 400 450 500 550 600 650 700 750 800
0
100
200
300
400
500
Binarizao
0 255
0 50 100 150 200 250 300 350 400 450 500 550 600 650 700 750 800
0
100
200
300
400
500
Density Slicing
Pixels da Imagem
P
i
x
e
l
s

d
o

D
i
s
p
l
a
y

Pixels da Imagem Pixels da Imagem
0
255
P
i
x
e
l
s

d
o

D
i
s
p
l
a
y

0
255
P
i
x
e
l
s

d
o

D
i
s
p
l
a
y

55 S. Paciornik DEMa PUC-Rio
A Look Up Table (cont.)
Mais um exemplo til
Logaritmo
Pixels da Imagem 0 255
0
255
P
i
x
e
l
s

d
o

D
i
s
p
l
a
y

Transformada de Fourier
Gera uma imagem cujo ponto central
to intenso que obscurece os demais
pixels da imagem.
Reala as regies escuras muito mais
do que as regies claras, revelando
estruturas que so fundamentais para a
anlise da imagem.
56 S. Paciornik DEMa PUC-Rio
Definio
A intensidade do pixel I, na posio
(x,y) da imagem de sada uma
funo apenas da intensidade do
pixel na mesma posio na imagem
de entrada. I
sada
(x,y) = f{I
entrada
(x,y)}
Exemplos tpicos:
Mudana de brilho ou contraste
Mudana de escala de cores
Expanso de contraste

Operaes Pontuais
1 2 3 4 5
1
2
3
4
5
1 2 3 4 5
1
2
3
4
5
57 S. Paciornik DEMa PUC-Rio
Operaes Algbricas e Aplicaes
Operaes pontuais com mais que uma imagem de entrada
Operao
Soma, Subtrao,
Mutliplicao, Diviso
Operadores lgicos (E,
OU, etc...)
Operadores
comparativos (Max, Min)
58 S. Paciornik DEMa PUC-Rio
Adio para reduo de rudo
Princpio
Adio de imagens estticas com rudo aleatrio. Por ser aleatrio (no ter
correlao entre quadros), a contribuio do rudo no se soma, levando a um
aumento na razo sinal/rudo (signal to noise ratio - SNR).
O aumento da SNR proporcional a ,onde N o nmero de imagens somadas.
Aplicaes comuns: Imagens de vdeo e de microscopia eletrnica.
Adio
Mdia de 10 quadros Mdia de 5 quadros Um dos quadros do original
N
59 S. Paciornik DEMa PUC-Rio
Subtrao/Diviso
Subtrao ou diviso para eliminao de fundo
Princpio
Obteno de uma imagem do fundo irregular, experimentalmente ou gerada por
software, e subtrao da imagem original, gerando uma imagem corrigida.
A subtrao a operao correta caso os sensores sejam logartmicos, como
comum. Caso os sensores sejam lineares, a operao correta a diviso.
Na prtica recomendvel testar as duas possibilidades e escolher o melhor
resultado.
Aplicaes comuns: Imagens de microscopia ptica e eletrnica.
Imagem com fundo irregular Imagem com fundo corrigido
OBS: A obteno do fundo em
si , em geral, uma operao
mais complexa.
Alguns mtodos:
Filtro passa-baixa largo
Mximo ou mnimo locais
Algoritmo Rolling-ball
60 S. Paciornik DEMa PUC-Rio
Subtrao
Subtrao na deteco de
movimento
Princpio
Subtrao de imagens em que
parte da imagem esteja em
movimento ou tenha se
modificado.
A subtrao ir gerar uma clara
fronteira entre as regies que se
movem e as regies estticas.
Limiar de Intensidade
Em funo do nmero de pixels pretos pode-
se tomar a deciso de que houve ou no uma
mudana relevante na imagem.
61 S. Paciornik DEMa PUC-Rio
Multiplicao
Multiplicao na aplicao de
mscaras
Princpio
Multiplicar uma imagem que se
deseja modificar, por uma imagem
de geometria e intensidade
conhecida, normalmente na faixa
[0,1].
Aplicao:
Filtragem no domnio das
freqncias. Em diferentes
situaes, necessrio eliminar, ou
levar a zero, partes de uma
transformada de Fourier, para
selecionar regies especficas da
imagem original.
FFT
*
=
IFFT
62 S. Paciornik DEMa PUC-Rio
Operaes lgicas
Definio
Operaes pontuais que envolvem mais do que uma imagem binria de
entrada, para gerar uma imagem de sada.
A B
NOT A
0 => 1
1 => 0
A AND B
00 => 0
01 => 0
10 => 0
11 => 1
A OR B
00 => 0
01 => 1
10 => 1
11 => 1
A XOR B
00 => 0
01 => 1
10 => 1
11 => 0
63 S. Paciornik DEMa PUC-Rio









Operaes Locais
Operaes locais ou de vizinhana
(neighbourhood)
I
sada
(x,y) uma funo no s de
I
entrada
(x,y) mas tambm da
intensidade de pixels vizinhos.
A operao eqivale a uma mdia
ponderada dos pixels da vizinhana.
Cada vizinho tem um peso associado,
que multiplica sua intensidade.
Os pesos so definidos por uma matriz
denominada kernel
Tipos de kernels
passa baixa => reduz detalhes
pesos positivos
passa alta => reala detalhes
pesos positivos e negativos

x
y
x
y
Seqncia de operao
O kernel aplicado a uma vizinhana, que se
desloca coluna por coluna, e linha por linha, at
varrer toda a imagem
Para cada posio da vizinhana, calcula-se o
valor resultante, que substitui o pixel central da
vizinhana
64 S. Paciornik DEMa PUC-Rio
Filtro Passa-baixa
Entrada Kernel Sada
5
5
5
5
5
5
5
5
5
5
5
5
5
5
5
5
5
5
9
9
9
9
9
9
9
9
9
9
9
9
9
9
9
9
9
9
-1
-1
-1
-1
8
-1
-1
-1
-1







0




























=
5
5
5
5
5
5
5
5
5
5
5
5
5
5
5
5
5
5
9
9
9
9
9
9
9
9
9
9
9
9
9
9
9
9
9
9
=
5
5
5
5
5
5
5
5
5
5
5
5
5
5
5
5
5
5
9
9
9
9
9
9
9
9
9
9
9
9
9
9
9
9
9
9
-1
-1
-1
-1
8
-1
-1
-1
-1
=
5
5
5
5
5
5
5
5
5
5
5
5
5
5
5
5
5
5
9
9
9
9
9
9
9
9
9
9
9
9
9
9
9
9
9
9
-1
-1
-1
-1
8
-1
-1
-1
-1
=







0





-12




























0





-12




12























0





-12





12





0










-1
-1
-1
-1
8
-1
-1
-1
-1

5
5
5
5
5
5
5
5
5
5
5
5
5
5
5
5
5
5
9
9
9
9
9
9
9
9
9
9
9
9
9
9
9
9
9
9
1
1
1
1
1
1
1
1
1








5




























=
5
5
5
5
5
5
5
5
5
5
5
5
5
5
5
5
5
5
9
9
9
9
9
9
9
9
9
9
9
9
9
9
9
9
9
9
5
5
5
5
5
5
5
5
5
5
5
5
5
5
5
5
5
5
9
9
9
9
9
9
9
9
9
9
9
9
9
9
9
9
9
9
1
1
1
1
1
1
1
1
1

5
5
5
5
5
5
5
5
5
5
5
5
5
5
5
5
5
5
9
9
9
9
9
9
9
9
9
9
9
9
9
9
9
9
9
9
1
1
1
1
1
1
1
1
1

=







5





6





















=







5





6





8





9











1
1
1
1
1
1
1
1
1
=







5





6




8

















Entrada Kernel Sada
Filtro Passa-alta
Aplicando Kernels
5
9
0
-12
+12
65 S. Paciornik DEMa PUC-Rio
Efeito sobre a imagem
Passa-baixa e Passa-alta
66 S. Paciornik DEMa PUC-Rio
Comparao do passa-baixa com mdia de quadros
A estatstica inter-quadros muito superior porque a quantidade de
informao disponvel muito maior.
Mdia de 10 quadros
Um dos quadros do original
Filtro aplicado 10x
Estatstica inter-quadros
1
1
1
1
1
1
1
1
1
Kernel
Estatstica intra-quadro
Passa-Baixa x Adio
67 S. Paciornik DEMa PUC-Rio
Mais Kernels
Outros Kernels interessantes
Kernel Gaussiano (passa-baixa ponderado)




Filtros direcionais (passa-alta)
0 0 1 1 1 1 1 0 0
0 1 2 3 3 3 2 1 0
1 2 3 6 7 6 3 2 1
1 3 6 9 11 9 6 3 1
1 3 7 11 12 11 7 3 1
1 3 6 9 11 9 6 3 1
1 2 3 6 7 6 3 2 1
0 1 2 3 3 3 2 1 0
0 0 1 1 1 1 1 0 0
1
1
1
1
-2
-1
1
-1
-1
1
1
1
1
-2
1
-1
-1
-1
-1
1
1
-1
-2
1
-1
1
1
-1
-1
1
-1
-2
1
1
1
1
1
1
1
-1
-2
1
-1
-1
1
1
1
-1
1
-2
-1
1
1
-1
1
-1
-1
1
-2
-1
1
1
1
-1
-1
-1
1
-2
1
1
1
1
o = 1
68 S. Paciornik DEMa PUC-Rio
Exemplo prtico
Correo de iluminao irregular
Defeito tpico de microscopia ptica
Pode aparecer em microscopia eletrnica
Soluo on-line
Adquire imagem com fundo irregular.
Desfoca o microscpio e adquire imagem que
representa o fundo.
Subtrai imagem desfocada da imagem irregular.
Soluo off-line
Sobre a imagem original irregular, aplicar
repetidas vezes um filtro passa-baixa com kernel
muito grande.
Esta operao vai borrar todos os detalhes da
imagem e preservar apenas o fundo irregular
(freqncia espacial muito baixa).
Subtrair o resultado da imagem original, obtendo
assim uma imagem com fundo corrigido.
I
sada
= I
entrada
- PassaBaixa(I
entrada
) =
= PassaAlta(I
entrada
)
Original com fundo
irregular
Fundo calculado
kernel 49x49 aplicado
4 vezes
Imagem corrigida
69 S. Paciornik DEMa PUC-Rio
O Filtro Mediana
Um filtro sem kernel - o filtro mediana
Para cada vizinhana, ordena os pixels em ordem crescente de intensidade e escolhe
como sada o valor mediano - aquele que est no centro da sequncia.
75
77
77
77
253
75
77
81
79
75 75 77 77 77 77 79 81 253
Original
Filtrado com
Mediana 3x3
75
77
77
77
77
75
77
81
79
Excelente eliminador de rudo localizado com intensidade muito diferente da
vizinhana.
70 S. Paciornik DEMa PUC-Rio
O Filtro Sigma
Um filtro passa-baixa inteligente
O Passa-baixa tradicional borra a imagem, reduzindo detalhes das bordas
dos objetos.
O filtro Sigma um passa-baixa que s inclue no clculo da mdia de
uma dada vizinhana os pixels cujas intensidades sejam prximas do
valor mdio da vizinhana como um todo.
Regies uniformes com rudo => todos os pixels sero includos
Regies de bordas com rudo => apenas os pixels de um lado ou outro da borda
sero includos
Dois parmetros:
Tamanho => tamanho da vizinhana
Sigma => valor mximo de desvio em torno da mdia abaixo do qual um pixel
includo no clculo.
O Sigma reduz rudo preservando os detalhes da imagem
71 S. Paciornik DEMa PUC-Rio
Filtro Sigma - Exemplo
Original
Passa-
baixa
27 x 27
Sigma
27 x 27
o = 37
72 S. Paciornik DEMa PUC-Rio
Deteco de bordas
Conceito
A deteco de bordas uma das tcnicas bsicas utilizadas pela viso humana no
reconhecimento de objetos.
As tentativas de implementao de sistemas de viso robtica sempre tentam analisar a
imagem para extrair esta primitiva.
As bordas so regies da imagem onde ocorre uma mudana de intensidade em um
certo intervalo do espao, em uma certa direo. Isto corresponde a regies de alta
derivada espacial, que contm alta freqncia espacial.
Os filtros de deteco de bordas iro gerar uma imagem em que as bordas aparecem
com alta intensidade, ao passo que as regies internas dos objetos aparecero com baixa
intensidade.
importante distinguir borda (edge) de contorno (boundary): um contorno uma linha
fechada formada pelas bordas de um objeto.
Nem sempre possvel obter um contorno a partir das bordas.
73 S. Paciornik DEMa PUC-Rio
Sobel
O filtro Sobel
Simula o gradiente da imagem gerando duas imagens de sada
O mdulo do gradiente, proporcional a derivada local de intensidade
O ngulo do gradiente, que corresponde a direo de mxima variao da
intensidade, e normal a borda em cada ponto.
um filtro no linear que envolve a aplicao de mais do que um kernel
e a combinao dos resultados.
1
2
1
0
0
0
-1
-2
-1
1
0
-1
2
0
-2
1
0
-1
c
cx
c
cy
| |
( )
( )
y
f
x
f
y x f
c
c
c
c
2
2
) , ( + = V

|
|
.
|

\
|
=

x
f
y
f
c
c
c
c
|
1
tan
74 S. Paciornik DEMa PUC-Rio
Original
Exemplos
Imagem Original Mdulo do Sobel ngulo do Sobel
Derivada X Derivada Y Mdulo do Sobel
75 S. Paciornik DEMa PUC-Rio
Delineamento de Bordas
Tornando as bordas mais abruptas
Em geral, as bordas dos objetos de uma imagem no so perfeitamente
abruptas, devido a restries de resoluo do sistema de formao da
imagem. As transies se estendem por diversos pixels com valores
descrescentes ou crescentes de tons de cinza.
No caso de discriminao de objetos em diferentes faixas tonais
(segmentao multifsica), aparece o efeito halo no qual pixels de
bordas aparecem como pertencentes a outra classe de objetos. O
delineamento reduz este efeito.
Obtm-se as intensidades mnima e mxima de cada vizinhana.
Calcula-se A = Max Min e define-se um limiar T.
Se A < T, no borda => pixel de sada = pixel de entrada
Se A > T, borda => pixel de sada = (Mx ou Mn)
Se (pixel Mn) < (mx pixel) => pixel de sada = Mn
Se no => pixel de sada = Mx
76 S. Paciornik DEMa PUC-Rio
Exemplo de Delineamento
Original Depois de Delineamento
77 S. Paciornik DEMa PUC-Rio
Operadores Rank
Operadores estatsticos e de escalo (rank)
Para cada vizinhana o pixel central de sada recebe
A mdia dos pixels da vizinhana
O desvio padro dos pixels da vizinhana
O valor mximo, ou mnimo, dos pixels da vizinhana
Os operadores Max e Min podem ser interpretados como manifestaes, em tons de
cinza, de operaes morfolgicas , efetuadas em imagens binrias, como veremos
posteriormente. Max e Min correspondem, respectivamente, a dilatao e eroso de
reas brilhantes (vice-versa para reas escuras).
A operao Max-Min fornece o gradiente morfolgico da imagem, que se assemelha
ao Sobel.
A operao Min(Max(I
e
)) funciona como um filtro passa-baixa. Tambm equivale a
operao de fechamento de reas brilhantes (abertura para reas escuras).
78 S. Paciornik DEMa PUC-Rio
Exemplos
Exemplos de operadores rank
Imagem Original Max Min
Max - Min
Original + Rudo Min(Max(Original + Rudo))
79 S. Paciornik DEMa PUC-Rio
A noo de convoluo
A matemtica das operaes tipo kernel
O processo de aplicao de um kernel sobre uma imagem equivalente
a uma operao de convoluo entre a funo imagem e a funo
kernel.
A convoluo pode ser escrita na forma discreta


onde K
i,j
so os pesos do Kernel de tamanho m x m.
Ou na forma contnua


A convoluo fundamental na anlise da relao entre entrada e sada
em sistemas lineares, denominada funo de transferncia, como
veremos mais tarde.
i(x) k(x) = i(o)k(xo)do

+
}
I
s
(x, y) = I
e
(x + i, y + j)- K
i ,j
i ,j =m
i ,j =+m

80 S. Paciornik DEMa PUC-Rio


+
o
I(o)k(x-o)
< >
o
I(o)k(x-o)
o
I(o)k(x-o)
-
Visualizao Grfica
Afinal de contas, o que uma convoluo ?
x
I(x) k(x)
o
k(o)
< >
i(x) k(x) = i(o)k(xo)do

+
}
Obs: Esta uma verso 1D de um filtro
passa-baixa. Note que, aps a
convoluo, o objeto azul se transforma
no objeto verde, que tem o dobro da
largura e perdeu as bordas abruptas
originais.
o
I(o)
o
k(-o)
o
k(x-o)
x
81 S. Paciornik DEMa PUC-Rio
Operaes Geomtricas
Operaes geomtricas
Alteram a relao de posio entre pixels.
Em geral envolvem duas etapas
Uma transformao espacial
Este processo muitas vezes levar a criao de pixels inexistentes na imagem original.
O que leva necessidade de
Uma interpolao das intensidades dos pixels
Replicao (nearest neighbours), bi-linear, sin(x)/x, etc...
70 80
72 76
70 ? 80 ?
? ? ? ?
72 ? 76 ?
? ? ? ?
70 70 80 80
70 70 80 80
72 72 76 76
72 72 76 76
70 75 80 80
71
74.5
78 78
72 74 76 76
72 74 76 76
ZOOM
x2
82 S. Paciornik DEMa PUC-Rio
Transformaes Espaciais
Transformaes Espaciais Lineares
Tem a forma
x = a
2
x + a
1
y + a
0

y = b
2
x + b
1
y + b
0

Translao
x = x + T
x
y = y + T
y

Mudana de escala
x = xS
x
y = yS
y

Ex: S
x
= 0.5, S
y
= 0.5
(126, 68) ---> (63, 34),
(127, 68) ---> (63.5, 34)
Ex: S
x
= 2, S
y
= 2
(126, 68) ---> (252, 136),
(127, 68) ---> (254, 136)
Rotao por um ngulo
x = xcos() + ysin()
y = -xsin() + ycos()
Ex: = 19,
(126,68) ---> (141.4, 23.3)
Transformaes Espaciais no
Lineares
Envolvem termos de mais alta ordem
tais como x
2
, y
2
, x
3
, etc...
Permitem realizar distores mais
complexas.
Permitem realizar transformaes
afins (affine transformations), que
distorcem uma imagem para se ajustar
a uma imagem alvo, usando pontos de
referncia comuns s duas imagens.
83 S. Paciornik DEMa PUC-Rio
Replicao e Interpolao
Exemplos






Zoom
Obs: A replicao extremamente veloz de calcular. Esta a tcnica
usada pela maioria dos programas quando a ferramenta de zoom
ativada, para visualizar a imagem ampliada ou reduzida, ou para
apresentar um preview de outra operao geomtrica qualquer. A
interpolao bi-linear, ou de mais alta ordem, ser utilizada quando
se deseja alterar o tamanho fsico da imagem ou calcular rotaes,
mudanas de perspectiva, etc..
Replicao Interpolao bi-linear
Rotao
Replicao
Interpolao bi-cbica
84 S. Paciornik DEMa PUC-Rio
Aplicaes tpicas
Correo de deformaes
Quando existem informaes a priori
que funcionam como referncia (tais
como grades de referncia, linhas
retas, pontos de referncia em outra
imagem,etc...), possvel corrigir
deformaes.
Quanto mais complexa a deformao,
mais pontos de referncia sero
necessrios para obter uma correo
adequada.
Situaes mais comuns
Correo de distores do sistema de
formao/captura da imagem.
Encaixe de imagens adjacentes obtidas
de superfcies no-planas (comum em
sondas espaciais),
Sequncias tomogrficas para
montagem de imagens 3D.
Imagem com
deformao
trapezoidal causada
por inclinao da
amostra em relao ao
sistema de formao
da imagem. Neste
caso, o sistema tem
grande profundidade
de foco, gerando uma
imagem totalmente
focada.
Como existem linhas
retas de referncia, a
imagem pode ser
corrigida a partir de
uma operao de
mudana de
perspectiva.
85 S. Paciornik DEMa PUC-Rio
Registro de Imagens
relativamente comum a
necessidade de comparar
imagens de uma mesma cena
obtidas por sensores distintos.
Ex: imagens de um material
obtido por dois tipos de
microscopia.
Para que a comparao seja
quantitativa, as duas imagens
tem que estar registradas.
Magnificao
Translao
Rotao
Distores
O registro de imagens envolve
A identificao, manual ou
automtica, de pontos
equivalentes (homlogos) nas
duas imagens,
A aplicao de operaes
geomtricas para registrar as
imagens a partir dos pontos
homlogos.

86 S. Paciornik DEMa PUC-Rio
Radiografias de implantes dentrios
1 - Logo aps o implante - Original 2 - Aps um ms perda ssea
Exemplo 1
Pontos de Referncia
4 Aps registro de 1
3 Desalinhamento entre 1 e 2
Bordas de 1 sobrepostas a 2
5 Imagens 2 e 4 registradas
Bordas de 4 sobrepostas a 2
87 S. Paciornik DEMa PUC-Rio
Microscopia Co-localizada MO-MEV
Deteco automtica de pontos de controle
Exemplo 2
Grade de referncia - MO
Grade de referncia - MEV
Identificao das distores
88 S. Paciornik DEMa PUC-Rio
A Funo SIFT
Scale Invariant Feature Transform
A transformada de caractersticas invariantes por escala permite
identificar pontos homlogos entre imagens que sofreram vrios tipos de
distoro, translao, rotao.
Ela pode ser usada, inclusive, para pares de imagens obtidas em
condies muito diferentes, por exemplo em microscpios de tipos
diferentes.
A partir da deteco de pontos homlogos possvel registrar
precisamente as imagens.
REF:
Lowe D (2004), "Distinctive Image Features from Scale-Invariant
Keypoints", International Journal of Computer Vision 60 (2): 91-110.
Fiji/Plugins/Registration/Linear Stack Alignment with SIFT
http://fiji.sc/wiki/index.php/Linear_Stack_Alignment_with_SIFT

89 S. Paciornik DEMa PUC-Rio
A sequncia de Processamento e Anlise
Pr-Processamento/Realce
Classificao e
Reconhecimento
Regies
Pixels
Dados
Qualitativo
Quantitativo
Formao da imagem
Digitalizao da imagem
Segmentao
Ps-Processamento
Extrao de Atributos
Segmentao
90 S. Paciornik DEMa PUC-Rio
Segmentao - a etapa crtica
A etapa crtica
Na segmentao procura-se distinguir as partculas umas das outras e do
fundo.
Esta distino permitir ao programa interpretar pixels contguos e
agrup-los em regies.
No existe um modelo formal para a segmentao. O processo
essencialmente emprico e dever se ajustar a diferentes tipos de imagem.
Esta etapa a mais difcil do processo e tambm a mais delicada porque
todas as medidas sero realizadas sobre as regies identificadas nesta
etapa.
A segmentao to complexa porque tenta traduzir para o computador
um processo cognitivo extremamente sofisticado realizado atravs da
viso humana.
91 S. Paciornik DEMa PUC-Rio
Segmentao por Limiarizao
Limiarizao - a intensidade como separador
Um objeto pode ser entendido como uma regio formada por pixels
contguos que tenham em comum uma faixa de intensidades.
A limiarizao usa a intensidade dos pixels para distingu-los.
O processo se baseia na anlise do histograma da imagem.
faixas de intensidade => bandas do histograma
objetos de um tipo sobre um fundo => histograma bi-modal
objetos de dois tipos sobre um fundo => histograma tri-modal
Etc...
Este um processo muito veloz e em geral em um passo. sempre o primeiro
mtodo a se tentar e muitas vezes fornece resultados bons em situaes
impossveis.
Thresholding no funciona bem em imagens com iluminao no uniforme e com
baixo contraste entre as diversas regies.
Existem processos de thresholding manual e automtico.
92 S. Paciornik DEMa PUC-Rio
A Intensidade como Separador
Exemplos de thresholding
0 255 T
1
T
2
Fase clara (t>T
2
) Fase mdia (T
1
<t

<T
2
)
problema !
Fase escura (t<T
1
)
93 S. Paciornik DEMa PUC-Rio
Limiarizao Multimodal
94 S. Paciornik DEMa PUC-Rio
Como escolher os tons de corte ?
Questo bsica: Como escolher os tons de corte ?
A escolha manual no nem precisa nem reprodutvel.
Mtodos automticos se baseiam na anlise de propriedades do
histograma.
Mtodos automticos
Utilizando os mnimos do histograma
Os mnimos correspondem s tonalidades intermedirias entre duas bandas.
Em geral o operador escolhe a tonalidade prxima a banda de interesse e o
programa busca os mnimos mais prximos, em ambos os lados da banda.
Existem dois problemas
os vales podem ser muito largos e planos, tornando a escolha de um valor mnimo
arbitrria.
os vales pode assumir valores muito baixos, ficando muito sensveis a rudo.
95 S. Paciornik DEMa PUC-Rio
Mtodos Automticos
Mtodos automticos (cont.)
O mtodo de Otsu
Determina o tom de corte que maximiza uma medida de varincia entre os dois
modos do histograma.
um mtodo extremamente eficiente, reprodutvel e o mais implementado em
programas de PDI.
O mtodo pode ser estendido para mais modos do histograma mas em geral os
programas no implementam esta opo.
O mtodo extremamente custoso computacionalmente e se torna invivel para imagens
com mais do que 4 ou 5 modos no histograma.
Existe um alternativa denominada Otsu recursivo, na qual o mtodo de Otsu bi-modal
sucessivamente aplicado imagem, e a cada iterao, a parte da imagem j segmentada
excluda e o mtodo aplicado aos pixels restantes.
96 S. Paciornik DEMa PUC-Rio
Comparao
Imagem original
com iluminao
irregular
Imagem corrigida
com filtro passa-
altas, 49x49, 4
iteraes
Imagem
segmentada com
limiar no mnimo
Imagem
segmentada pelo
mtodo de Otsu
97 S. Paciornik DEMa PUC-Rio
Limiarizao Adaptativa
Mtodos automticos (cont.)
Limiarizao adaptativa
Sub-divide a imagem, aplica uma limiarizao a cada sub-diviso, obtendo assim
vrios tons de corte.
Em seguida, interpola os tons de corte obtidos para as sub-divises para obter um
tom de corte para cada pixel da imagem.
Vantagens:
Menos sensvel a irregularidades de fundo.
Mais sensvel a variaes locais.
Desvantagens:
Mais lento.
No muito comum em programas de PDI.
98 S. Paciornik DEMa PUC-Rio
Segmentao por Contornos
Mtodos baseados nos contornos dos objetos
Um objeto pode ser entendido como uma regio dentro de um contorno.
Para distingu-lo detecta-se as bordas e tenta-se construir um contorno a partir delas.
Este modelo muito mais custoso computacionalmente, mas simula o
comportamento do olho humano e muito flexvel e genrico.
As principais limitaes so rudo e o fato de que as fronteiras identificadas podem
no ser fechadas.
O mtodo envolve duas etapas
A deteco das bordas em si, utilizando um operador derivada tipo Sobel, Kirsch,
etc...
A identificao dos objetos a partir de seus contornos, que so obtidos processando
a imagem das bordas.
99 S. Paciornik DEMa PUC-Rio
Segmentao por Contornos (cont.)
Mtodos baseados nos contornos dos objetos (cont.)
Os principais problemas do mtodo so
Sensibilidade a rudo. Este problema pode ser reduzido introduzindo outros critrios
para validao de pixels tais como ngulo mximo entre o novo pixel e a fronteira
traada at ento.
No se pode garantir que as fronteiras sero curvas fechadas. Uma possvel soluo
envolve o uso da convoluo com o Laplaciano da Gaussiana (Mtodo de Marr-
Hildreth).
Imagem original Sobel Sobel limiarizado
100 S. Paciornik DEMa PUC-Rio
Perseguio de Fronteiras
Mtodos baseados nos contornos dos objetos (cont.)
A localizao de fronteiras envolve o processo de perseguio de bordas
(edge tracking)
A imagem das bordas analisada e apenas os pixels que satisfazem certos critrios
so validados (veja abaixo).
Iniciando em um pixel vlido analisa-se seus primeiros vizinhos, procurando
outro pixel vlido. A partir do novo pixel repete-se o processo. Desta forma
percorre-se uma trajetria sobre a imagem que corresponde fronteira de um
objeto. Quando a trajetria retorna ao ponto de origem, interrompe-se o processo.
O critrio de validao de pixels da imagem de bordas pode ser
uma simples limiarizao para selecionar certas bordas
uma busca do mximo local da imagem gradiente, visando j afinar as bordas
obtidas. Este processo no discrimina bordas a partir do valor do gradiente e aceita
todas as bordas.
101 S. Paciornik DEMa PUC-Rio
Gauss - Sigma Grande
Gauss - Sigma Pequeno
Zero-crossings Laplaciano
Zero-crossings Laplaciano
O Mtodo de Marr-Hildreth
O mtodo de Marr-Hildreth
Borra-se a imagem com um kernel
gaussiano
Obtm-se o Laplaciano
Localiza-se os cruzamentos por zero
Os pontos localizados formam
contornos fechados
Tambm conhecido como mtodo
LOG - Laplacian of Gaussian
102 S. Paciornik DEMa PUC-Rio
Zero-Crossings
O mtodo de Marr-Hildreth (cont.)
Porque zero-crossings of Laplacian ?








possvel provar que os Zero-
crossings sempre formam contornos
fechados.
Este mtodo muitas vezes usado em
conjuno com limiarizao normal
para reduzir sua sensibilidade a rudo.
Borda
1 derivada
2 derivada - o
cruzamento por zero
indica a posio da
borda.
103 S. Paciornik DEMa PUC-Rio
Exemplo
O mtodo de Marr-Hildreth (cont.) - Exemplo
Original
Segmentao
Automtica
AND
Segmentao
Marr Hildreth
104 S. Paciornik DEMa PUC-Rio
Segmentao atravs da Cor
Usando a cor para segmentar
Em algumas situaes, regies fisicamente distintas podem ter
tonalidades de cinza muito prximas, impossibilitando sua segmentao
por limiarizao comum
Caso estas regies possuam cores distintas, pode-se usar um dos dois
modelos de cor (RGB ou HLS) para realizar uma segmentao baseada
nos trs histogramas simultneos.
A escolha de limiares no histograma de cada componente primria
selecionar uma faixa de cores que poder segmentar a regio de
interesse.
105 S. Paciornik DEMa PUC-Rio
Exemplo
Imagem original de uma rocha Os histogramas HLS e seus limiares
A imagem binria resultante Bordas da imagem binria superpostas
106 S. Paciornik DEMa PUC-Rio
A sequncia de Processamento e Anlise
Pr-Processamento/Realce
Classificao e
Reconhecimento
Regies
Pixels
Dados
Qualitativo
Quantitativo
Formao da imagem
Digitalizao da imagem
Segmentao
Ps-Processamento
Extrao de Atributos
Ps-Processamento
107 S. Paciornik DEMa PUC-Rio
Ps-Processamento
Corrigindo defeitos da Segmentao
Muitas vezes, o resultado da segmentao no adequado.
Para corrigir os defeitos residuais, na etapa denominada de ps-
processamento, utiliza-se as tcnicas da morfologia matemtica.
Operaes morfolgicas
So operaes semelhantes s operaes locais, nas quais um pixel da
imagem de sada funo do valor dos pixels numa vizinhana da
imagem de entrada.
Em imagens binrias, um pixel ser preservado ou invertido em funo
de ter um certo nmero de vizinhos iguais ou diferentes em posies
especficas de sua vizinhana.
As posies dos pixels so definidas por uma espcie de mscara, denominada
elemento estruturante (EE).
108 S. Paciornik DEMa PUC-Rio
Operaes Morfolgicas Bsicas
Operaes bsicas
Eroso
Um pixel branco invertido se sua vizinhana no
possui pixels brancos suficientes para cobrir o EE.
Objetos finos ou pequenos sero eliminados.
Objetos maiores tero sua rea reduzida.
Dilatao
Um pixel preto invertido se sua vizinhana no
possui pixels pretos suficientes para cobrir o EE.
Buracos finos ou pequenos sero eliminados,
unindo objetos.
Objetos tero sua rea aumentada.
Estas operaes, por si s, causam distores nas
reas dos objetos. No entanto, sua combinao
gera resultados muito mais interessantes.


Original
Eroso
Dilatao
109 S. Paciornik DEMa PUC-Rio
Combinando Operaes
Combinao de operaes
Abertura
N ciclos de Eroso seguidos de N ciclos de
Dilatao.
Objetos muito pequenos desaparecem, a
includas pequenas conexes entre objetos.
Objetos maiores preservam sua rea.
Fechamento
N ciclos de Dilatao seguidos de N ciclos de
Eroso.
Buracos pequenos ou separaes entre
objetos so eliminados.
Objetos maiores preservam sua rea.
Se o nmero de ciclos grande quando
comparado com o dimetro dos objetos,
ocorrero distores de forma.
A soluo exigir o uso do Mapa de
Distncias Euclideanas.
Original
Fechamento
Abertura
110 S. Paciornik DEMa PUC-Rio
Aplicao
Aplicao de abertura e fechamento








B o elemento estruturante. No caso, tem forma circular, o que explica o
arredondamento das bordas do objeto.
As operaes morfolgicas podem ser aplicadas em imagens de tons de cinza (grey
morphology). Neste caso as operaes so de categorizao de vizinhanas (rank
operators) tais como mximo e mnimo locais, etc...
A B A - B
B
A
111 S. Paciornik DEMa PUC-Rio
Outras Operaes Simples
Preenchimento (fill)
Objetos com contorno fechado podem ter seus buracos internos
preenchidos.
Em programas de edio de imagens (ex. Photoshop), cada objeto a ser
preenchido deve ser selecionado pelo usurio.
Em programas de PDI, o processo automtico para todos os objetos
112 S. Paciornik DEMa PUC-Rio
Outras Operaes Simples (cont.)
Eliminao/Seleo de objetos baseada na rea (scrap)
Imagem original Segmentada com buracos Invertida (NOT)
Scrap <10 pixels
A imagem segmentada contm buracos.
Neste caso no possvel usar a operao fill
porque os objetos se tocam e espaos entre
objetos tambm seriam preenchidos.
Assim, deve-se antes inverter a imagem para
que os buracos virem pequenos objetos que
podem ser eliminados com o operador de
scrap
Imagem limpa
113 S. Paciornik DEMa PUC-Rio
Operaes Avanadas
Eroso derradeira (ultimate
erosion)
Os objetos so erodidos at que um
prximo passo os eliminaria.
Utilizada para localizar sementes
de objetos e medir tamanhos.
Dilatao derradeira (ultimate
dilation)
Os objetos so dilatados at que,
um prximo passo, os uniria.
Utilizada na segmentao
watershed e na anlise da
vizinhana de objetos.
OBS:
Nas figuras ao lado os objetos
originais so mostrados em branco
e o resultado das operaes
mostrado em vermelho.
Imagem Binria Original
Aps eroso derradeira Aps dilatao derradeira
114 S. Paciornik DEMa PUC-Rio
Operaes Avanadas (cont.)
Esqueleto ou Transformada do Eixo Medial
Corresponde a uma eroso derradeira com a condio de no remover
pixels que quebrariam o objeto em dois.
Fornece informao topolgica e mtrica sobre o objeto.
P. ex. nmero de ramificaes.

115 S. Paciornik DEMa PUC-Rio
Separando Objetos que se Tocam
Como separar objetos que se tocam ?
Imagens com objetos que se tocam, ou parcialmente superpostos, so
bastante comuns.
A segmentao nestes casos mais difcil mas possvel atravs do
mtodo do divisor de guas (watershed).
O mtodo envolve trs etapas
Uma limiarizao simples gerando uma imagem binria
O clculo do Mapa de Distncias Euclideanas (Transformada de Distncia)
Obteno dos divisores de guas separando os objetos
O Mapa de Distncias Euclideanas (MDE)
Imagem em que cada pixel de um objeto tem uma intensidade proporcional sua
menor distncia da borda do objeto.
Obteno dos divisores de guas
A partir dos pontos mais brilhantes do MDE, agrega-se pixels num processo de
crescimento que evita que os objetos voltem a se unir.
116 S. Paciornik DEMa PUC-Rio
Exemplo Bsico
O Mtodo do divisor de guas (cont.)
Imagem binria MDE Mximos do MDE
Imagem segmentada
A partir dos mximos do MDE,
inicia-se um processo
denominado dilatao
derradeira (ultimate dilation)
que faz crescer ilhas de pixels
brancos a partir dos mximos,
mas evitando que quaisquer
duas ilhas voltem a se unir.
Dilatao
derradeira
117 S. Paciornik DEMa PUC-Rio
Exemplo mais complexo
Imagem original Limiarizada/buracos eliminados Mapa de Distncias
Fronteiras superpostas Fronteiras definidas Divisores de guas
118 S. Paciornik DEMa PUC-Rio
Comentrios
Limitaes do mtodo do divisor de guas
O mtodo fortemente sensvel qualidade da segmentao original.
A preservao/eliminao de buracos na imagem binria ir
gerar/eliminar divisores de guas que podem ser falsos ou verdadeiros.
Normalmente o MDE sofre uma filtragem passa-baixas para atenuar
rudos gerados por irregularidades das bordas da imagem binria. Esta
filtragem gera divisores de guas mais bem comportados.
O mtodo deve ser usado com cautela e a aplicao especfica ir
determinar o que mais aceitvel: sub ou super segmentao
em alguns casos pode ser mais razovel aceitar uma sub-segmentao e completar
as fronteiras ausentes de forma manual.
119 S. Paciornik DEMa PUC-Rio
Operaes Morfolgicas no MDE
O Mapa de Distncias Euclideanas pode ser utilizado para
realizar operaes morfolgicas, minimizando os problemas de
distoro de forma citados anteriormente.
A seqncia bsica a seguinte:
A partir de uma imagem binria, calcula-se o MDE
O MDE, que uma imagem em tons de cinza, segmentado por
limiarizao.
Um pixel dentro do objeto, junto borda, ter intensidade 1 no MDE
Para realizar uma eroso de um pixel do contorno, aplica-se um limiar de 2 no MDE
Para realizar uma eroso de n pixels, aplica-se um limiar de n+1 no MDE
Para realizar uma dilatao, a imagem binria original invertida, segue-se a
mesma seqncia, e inverte-se o resultado final.
120 S. Paciornik DEMa PUC-Rio
Exemplos
Image Binria Original Aps Abertura EE Quadrado
4 iteraes
Aps Abertura Euclideana
4 iteraes
Comparao
121 S. Paciornik DEMa PUC-Rio
A separao entre objetos em uma imagem binria
depende da definio de contiguidade entre pixels.

Vizinhana 4 =>




Vizinhana 8 =>

Note que o uso de V4 para os objetos implica V8 para o
fundo e vice-versa.
Esta inconsistncia s resolvida em uma matrix
hexagonal de pixels, mas isto pouco usado porque
praticamente no existem sensores de luz com pixels
hexagonais.
Vizinhana 4 e 8
2
1
1
1
122 S. Paciornik DEMa PUC-Rio
Impacto da escolha de V4 ou V8
V4 V8
As fronteiras detectadas pelo mtodo do divisor de guas
efetivamente separam os gros do material sinterizado
Muitos gros do material aparecem conectados formando
objetos que no representam a microestrutura
123 S. Paciornik DEMa PUC-Rio
A sequncia de Processamento e Anlise
Pr-Processamento/Realce
Classificao e
Reconhecimento
Regies
Pixels
Dados
Qualitativo
Quantitativo
Formao da imagem
Digitalizao da imagem
Segmentao
Ps-Processamento
Extrao de Atributos Extrao de Atributos
124 S. Paciornik DEMa PUC-Rio
Extrao de Atributos
Medir - objetivo final
Uma vez que o processo de segmentao e ps-processamento se encerra, pode-se ento
realizar medidas sobre a imagem.
Existem basicamente duas classes de medidas
Medidas de campo (field features)
Medidas que se referem ao campo como um todo
Ex: Nmero de objetos, rea total de objetos, Frao de rea, etc...
Medidas de regio (region features)
Medidas que se referem aos objetos independentemente
Ex: rea, permetro, forma, posio, etc...
Estas medidas podem ser muito sofisticadas, permitindo uma nova separao dos objetos em
classes de similaridade, em funo dos parmetros medidos.
Seguiremos a proposta de J.Russ e apresentaremos os parmetros em 4 grupos
Tamanho
Forma
Posio
Intensidade
A nomenclatura seguir o padro do KS400.
125 S. Paciornik DEMa PUC-Rio
Parmetros de Tamanho
rea
Obtida simplesmente contando os pixels.
Por incrvel que parea, mesmo uma medida to
simples muito difcil de realizar manualmente.
rea preenchida (filled area - AREAF)
rea incluindo buracos internos.
rea convexa (taut string area - AREAC)
rea obtida aps tornar o objeto convexo.
Equivalente rea definida por um elstico
passado em torno do objeto.
Permetro (PERIM)
Obtido diretamente da fronteira atravs da
expresso

onde N o nmero de passos horizontais ou
verticais e N
d
o nmero de passos diagonais.
Inclui o permetro dos buracos do objeto.
Existem outras maneiras de medir o permetro de
forma mais acurada, reduzindo o impacto da
pixelizao da imagem (Crofton Perimeter).
Permetro preenchido (PERIMF) e Permetro
convexo (PERIMC)
Equivalentes s definies de rea preenchida e
convexa.
d
N N P 2 + =
AREA PERIM
AREAF PERIMF
AREAC PERIMC
126 S. Paciornik DEMa PUC-Rio
Parmetros de Tamanho (cont.)
Calibres (Ferets)
Equivalem s sombras do objeto em diferentes direes
A razo entre calibres mximo e mnimo uma boa medida de alongamento.
Fmax nem sempre ser ortogonal a Fmin
O ngulo do calibre mximo uma medida de orientao.
Calibre x - FERETX
C
a
l
i
b
r
e

y

F
E
R
E
T

Y

127 S. Paciornik DEMa PUC-Rio
Largura (width)
Definido como a largura de uma elipse com mesma rea e calibre mximo (length)



Menos sensvel do que F
min

Exemplo de parmetro secundrio
derivado de parmetros primrios
medidos de forma independente.
Dimetro circular equivalente
A partir da rea

A partir do permetro
Comprimento de fibra (fiber length)
Para um objeto longo e estreito F
max
= Permetro/2. Para objetos mais grossos (F
min

maior) pode-se definir um parmetro que funo do permetro e da rea.

Parmetros de Tamanho (cont.)
F
min

F
max

Width
Fiber Length
4
. 16
2
AREAF PERIMF PERIMF
FL
+
=
max
4
F
AREA
Width

=
t
t
AREA
D

=
4
t
Permetro
D =
128 S. Paciornik DEMa PUC-Rio
Parmetros de forma
Parmetros adimensionais obtidos de combinaes de parmetros de tamanho.
Razo de aspectos (Aspect Ratio)
AR = F
min
/F
max

(alguns programas usam a relao inversa)
Fatores de forma
Normalmente so definidos para variar entre 0 e 1, assumindo valor mximo para
objetos com formas geomtricas especficas.
So usados para identificar formas especficas em imagens.
Fatores de forma circular
Baseado no Permetro


sensvel irregularidade do contorno
do objeto.

Fator de forma quadrada

Parmetros de Forma
2
1
4
PERIM
AREAF
F
Circle

=
t
2 2
4
Max
Circle
F
AREAF
F

=
t
Baseado no Feret Mximo


Mais sensvel ao elongamento do
objeto.
2
16
PERIMF
AREAF
F
Quad

=
129 S. Paciornik DEMa PUC-Rio
Parmetros de Forma (cont.)
Medidas de Convexidade
Valem 1 para um objeto convexo e diminuem para objetos no convexos.
PERIMC/PERIM ou PERIMC/PERIMF
Decai rapidamente para objetos com pennsulas finas e compridas.
AREA/AREAC ou AREAF/AREAC.
Menos sensvel presena de pennsulas finas.
Exemplo
After J.C. Russ, Comp. Ass. Micr.
A B C D E F
FCIRCLE 1

0.31 0.45 0.33 0.47 0.32 0.48
FCIRCLE 2 0.26 0.28 0.50 0.50 0.62 0.65
FMIN/FMAX
0.28 0.28 0.50 0.50 0.56 0.59
PERIMC/PERIM 0.77 0.85 0.71 0.80 0.67 0.78
AREA/AREAC 0.80 0.84 0.81 0.84 0.80 0.84

A
C
B
D
F E
130 S. Paciornik DEMa PUC-Rio
Parmetros de Posio e Distribuio Espacial
Parmetros de Posio
Centro de gravidade e distncia entre objetos
A determinao do centro de gravidade dos objetos
trivial a partir de uma imagem segmentada
possvel obter a distribuio de vetores que unem os centros
de gravidade dos objetos.
No entanto, esta distribuio no adequada porque:
a) muito custosa de se obter, j que o nmero de vetores
igual combinao, 2 a 2, de todo os objetos da imagem.
b) No se refere vizinhana local de cada partcula, que
mais importante que a distribuio de distncias entre
quaisquer partculas.
131 S. Paciornik DEMa PUC-Rio
Distribuio Espacial
Dilatao derradeira e regio de influncia
A dilatao derradeira gera regies cuja distribuio de tamanhos est
associada distribuio espacial.
100 150 200 250 300 350
0
20
40
60
80
100
%
Distance (pixel)
100 150 200 250 300 350
0
10
20
30
40
%
Distance (pixel)
100 150 200 250 300 350
0
10
20
30
40
%
Dimetro Circular Equivalente
Regular
Aglomerado
Aleatrio
132 S. Paciornik DEMa PUC-Rio
Distribuio Espacial (cont.)
Anlise da Vizinhana Local
A anlise atravs da regio de influncia pode ser refinada e combinada
com a anlise por vetores de distncia.
Para isso preciso antes identificar os primeiros vizinhos de um dado
objeto, e medir somente os vetores deste objeto a seus vizinhos.
Para cada objeto:
- Realiza a dilatao derradeira
- Realiza uma dilatao e detecta superposio com
regies vizinhas
- Detecta apenas regies vizinhas
- Mede o vetor entre o objeto central e seus vizinhos.
- Obtm distncia mdia entre vizinhos - <D>
- Obtm o desvio padro da distncia mdia - SD
- Obtm o coeficiente de variao cov = SD/<D>

- Cov = 0.36 0.02 => distribuio aleatria
- Cov 0.36 => indica aglomerao
- Yang, N.; Boselli, J.; Sinclair, I., J. Microsc. 201 (2000) 189-
200.
133 S. Paciornik DEMa PUC-Rio
Parmetros de Intensidade
Estatsticas dos tons de cinza ou cores de um objeto
Intensidade mdia (<I>)
Associada ao brilho
Desvio padro da intensidade (SD(I))
Associado ao contraste





Imagem <I> SD(I)
Original 143,6 12,2
Aps
filtro
Sigma
142,7 6.6
134 S. Paciornik DEMa PUC-Rio
Matriz de Co-Ocorrncia
Anlise de Textura
O uso de estatsticas simples no permite discriminar variaes mais
sutis dos tons de cinza, que caracterizam a noo intuitiva de textura.
Em contraponto a estas estatsticas de ocorrncia, so propostas
estatsticas de co-ocorrncia.
Parmetros obtidos a partir da estatstica de ocorrncia simultnea de intensidades
em pares de pixels
0 0 1 1
0 0 1 1
0 2 2 2
2 2 3 3
Tom 0 1 2 3
0 (0,0) (0,1) (0,2) (0,3)
1 (1,0) (1,1) (1,2) (1,3)
2 (2,0) (2,1) (2,2) (2,3)
3 (3,0) (3,1) (3,2) (3,3)

|
|
|
|
|
.
|

\
|

2 1 0 0
1 6 0 1
0 0 4 2
0 1 2 4
0 P

|
|
|
|
|
.
|

\
|

0 1 0 0
1 4 2 0
0 2 2 1
0 0 1 4
45 P

|
|
|
|
|
.
|

\
|

0 2 0 0
2 2 2 2
0 2 4 0
0 2 0 6
90 P

|
|
|
|
|
.
|

\
|

0 2 0 0
2 0 1 3
0 1 2 1
0 3 1 2
135 P
Imagem de Teste Construo da matriz de
co-ocorrncia tonal
Matrizes de co-ocorrncia
para a imagem de teste
135 S. Paciornik DEMa PUC-Rio
Parmetros de Haralick
Parmetros estatsticos baseados na
matriz de co-ocorrncia
Originalmente utilizados em
sensoreamento remoto
Uniformidade

Contraste


Correlao


Foram definidos 14 parmetros

=
i j
j i p f
2
)} , ( { 1
} ) , ( { 2
| |
1 1
1
0
2
n j i
Ng
i
Ng
j
Ng
n
j i p n f
=
= =

=

=
1 2 3
4 5 6
7 8 9
f1
f2
f3
0,42
2,68
0,50
0,06
4,22
0,20
0,43
0,45
0,48
0,26
4,08
0,40
0,12
1,63
0,50
0,54
1,21
0,40
0,55
0,47
0,40
0,05
5,06
0,48
0,22
3,16
0,38
y x
i j
y x
j i p j i
f
o o

=
) , ( ). , (
3
136 S. Paciornik DEMa PUC-Rio
Exemplo Anlise de Textura
Imagens de HRTEM
Resina com carbono disperso Resina Pura
0%
10%
20%
30%
40%
50%
60%
0.00 0.04 0.08 0.12 0.16 0.20
Uniformidade
P
o
p
u
l
a

o

(
%
)

Pura
Mix
0%
5%
10%
15%
20%
25%
30%
2.8 3.8 4.8 5.8
Entropia
P
o
p
u
l
a

o

(
%
)

Pura
Mix
137 S. Paciornik DEMa PUC-Rio
A sequncia de Processamento e Anlise
Pr-Processamento/Realce
Classificao e
Reconhecimento
Regies
Pixels
Dados
Qualitativo
Quantitativo
Formao da imagem
Digitalizao da imagem
Segmentao
Ps-Processamento
Extrao de Atributos
Classificao e
Reconhecimento
138 S. Paciornik DEMa PUC-Rio
Classificao e Reconhecimento
Exemplo Bsico
Imagine um sistema para classificao de
frutas de 4 tipos
Mas, cerejas, limes e meles
A cor pode ser usada para distinguir as
frutas mais vermelhas (mas/cerejas) das
mais amarelas (limes/meles).
O calibre mximo ou dimetro pode ser
usado para distinguir as frutas menores
(cereja/limo) das mdias (mas) e
grandes (meles).
Uma soluo possvel separar
manualmente um nmero representativo
de frutas de cada tipo e determinar as
faixas tpicas de cor e tamanho.
Posteriormente, uma fruta desconhecida
poder ser automaticamente identificada a
partir da base de conhecimento
desenvolvida.
Meles
Limes
Mas

V
e
r
m
e
l
h
i
d


Dimetro





Cerejas
*
*
*
*
*
*
* *
*
*
*
*
*
*
*
*
*
*
* *
*
*
*
Medindo Mas Medindo Cerejas Medindo Limes Medindo Meles
Medindo
Desconhecido
*
139 S. Paciornik DEMa PUC-Rio
Classificao e Reconhecimento
Questo bsica
Dado um conjunto de objetos
segmentados, e dos quais se pode
medir diversos parmetros, tentar, de
forma automtica, separ-los em
classes de similaridade.
Consideraes
Raramente um nico parmetro ser
suficiente para distinguir duas ou mais
populaes (p.ex. intensidade em um
histograma bimodal).
Pode-se imaginar o conjunto de
parmetros como formando um
espao multi-dimensional.
Cada objeto ocupar um ponto deste
espao. A tarefa da classificao pode
ser entendida como a identificao de
agrupamentos neste espao.
P
1
P
3
P
2
140 S. Paciornik DEMa PUC-Rio
Tipos de Classificao
Classificao supervisionada
Um conjunto de objetos conhecidos
pertencentes a diferentes classes
analisado, escolhe-se os parmetros
ideais para separao, e estabelece-se
a faixa de valores dos parmetros para
cada classe.
A partir deste conjunto de
treinamento, encontra-se a funo
discriminante que separa as diversas
classes.
Objetos desconhecidos so fornecidos
ao classificador.
Exemplo: redes neuronais.
Classificao no-supervisionada
O sistema recebe objetos
desconhecidos e a partir da medida de
diferentes parmetros tenta encontrar
as classes.
A identificao de classes pode ser
realizada a partir da identificao de
agrupamentos (clusters) de objetos no
espao de parmetros.
141 S. Paciornik DEMa PUC-Rio
Classificao supervisionada
As etapas do processo
Escolher um conjunto de treinamento
Escolher os parmetros relevantes
Obter a funo discriminante
Obter os erros e eliminar parmetros
irrelevantes
Aplicar a objetos desconhecidos e
escolher pontos de deciso
Medir mais objetos e atualizar histogramas
e pontos de deciso ==> Aprendizado
Conjunto de treinamento (training set)
Um conjunto de objetos conhecidos e que
representem adequadamente as classes
supostamente presentes na sua populao.
Pode-se atribuir um nmero (1,2,...) para
representar o TIPO de cada classe.
Tamanho tpico
de 20 a 100 objetos
Preocupao bsica
Ser que o conjunto realmente
representativo da populao como um todo
?
Dependendo do sistema, esta possvel
limitao pode ser compensada ao longo
do processo de aprendizado. Quando novos
objetos vo sendo classificados pode-se
usar seus valores para refinar o conjunto de
treinamento de forma recursiva.
142 S. Paciornik DEMa PUC-Rio
Classificao supervisionada (cont.)
Seleo de parmetros relevantes
Utilizando senso comum e experincia prvia, escolhe-se os parmetros que parecem
ser mais eficientes para distinguir as classes.
Discriminao
Valores diferentes para classes diferentes
Confiabilidade
Valores semelhantes para a mesma classe
Independncia
Evitar redundncia na informao
Ex: Evitar muitos parmetros do mesmo tipo
Pequenos nmeros
O tamanho do conjunto de treinamento necessrio cresce exponencialmente com o nmero
de parmetros envolvidos.
Em geral deve-se analisar a correlao entre os diversos parmetros e as classes do
conjunto de treinamento. Parmetros com alta correlao devem ser mantidos.
Parmetros com baixa correlao devem ser ignorados.
143 S. Paciornik DEMa PUC-Rio
Discriminao
Mtodos estatsticos
Assumem uma distribuio de
probabilidades conjunta para as
classes de objetos presentes e os
vetores do espao de parmetros.
Mtodos no estatsticos
(distribution free)
Define-se um conjunto de funes
discriminantes que so maximizadas
se o vetor de parmetros pertence a
uma dada classe. Para um problema
com K classes precisa-se de K-1
discriminantes.
Minimum Distance Classifier
Um objeto ser atribudo a uma classe
se o seu vetor de parmetros estiver
mais prximo do centro de gravidade
desta classe do que de qualquer outra
classe.
k-nearest neighbours - KNN
Um objeto ser atribudo a uma classe
se a maioria dos k primeiros vizinhos
pertence a esta classe.
144 S. Paciornik DEMa PUC-Rio
P
a
r

m
e
t
r
o

2

Parmetro 1
Linha de contexto
Limiar de Deciso
Populao A
Populao B
A Funo Discriminante
A funo discriminante
A equao para a funo
discriminante pode ser obtida, em
certos casos, como uma combinao
linear dos diversos parmetros.
Com dois parmetros a funo uma
reta (a linha de contexto).
Com trs parmetros a funo um
plano.
Com mais parmetros a funo um
hiper-plano no espao de parmetros.
145 S. Paciornik DEMa PUC-Rio
Classificao supervisionada (cont.)
Eliminao de parmetros
irrelevantes
Utiliza-se regresso por partes para
eliminar parmetros que no afetam o
ajuste da funo discriminante.
Para isso estima-se o erro na funo
discriminante cada vez que um
parmetro eliminado. Os parmetros
que causam a menor variao so
descartados.
Aplicao a objetos desconhecidos
Para cada novo objeto mede-se os
parmetros selecionados e calcula-se o valor
da funo discriminante.
Em funo da distribuio de valores da
funo discriminante pode-se ento escolher
um limiar de deciso para atribuir o objeto a
uma ou outra classe.
Avels x nozes = 3.928 + 0.773 * Aspect ratio -
5.007 * Fractal Dim + 0.068 * Brightness
limiar de deciso
0 1 2 3 4
N


d
e

o
b
j
e
t
o
s

146 S. Paciornik DEMa PUC-Rio
Classificao supervisionada (cont.)
Erros de classificao
Em diversas situaes o histograma
para a funo discriminante no ser
claramente bi-modal.
Isto dar origem a um problema de
limiarizao anlogo ao da
segmentao de imagens por
intensidade.
Neste caso pode-se usar testes
estatsticos para avaliar a separao de
classes e os erros de classificao.
Estes testes podem ser paramtricos
(utiliza-se uma distribuio
conhecida) ou no-paramtricos.
Escolhe-se o limiar de deciso que d
erros idnticos para ambas as classes
ou que minimize o erro em funo de
um certo critrio de custo.
limiar de deciso
after J.C. Russ - Computer Assisted Microscopy
147 S. Paciornik DEMa PUC-Rio
Aprendizado
Aprendizado
Conforme mais objetos so medidos e classificados, os histogramas das
funes discriminantes mudam, assim como os limiares de deciso.
Isto por sua vez permite a reclassificao de objetos num processo
recursivo.
Isto quer dizer que o sistema pode refinar sucessivamente seu
funcionamento e aumentar a base de dados utilizada.
A interferncia humana fica restrita a resolver situaes nas quais o erro
para um dado limiar ultrapassa certos limites.
Tambm possvel refinar o sistema utilizando funes discriminantes
no-lineares e/ou ajustando a forma da funo discriminante durante o
aprendizado.
148 S. Paciornik DEMa PUC-Rio
Exemplo: Classificao de Ferro Fundido
Ferro Fundido
Material composto por ferro e grafite
diludo sob a forma de partculas de
diversos formatos.
Classe I
Cinzenta
Classe II
Intermediria
Classe III
Vermicular
Classe IV
Nodular irregular
Classe V
Nodular incerta
Classe VI
Nodular
As propriedades mecnicas deste material
dependem fortemente da forma das ilhas.
Ilhas mais arredondadas com bordas suaves
levam a melhores propriedades.
Ilhas mais alongadas com bordas
irregulares levam a piores propriedades.
Existe uma classificao internacional
(ISO-945) para ferro fundido, dividindo-o
em seis classes.
Tradicionalmente a classificao feita
visualmente.
Veremos como tornar este processo
automtico atravs de uma classificao
supervisionada.
149 S. Paciornik DEMa PUC-Rio
Ex: Ferro Fundido (cont.)
Conjunto de Treinamento
Utilizou-se as 6 imagens sintticas da norma.
Parmetros de Medida
Testou-se diversos conjuntos de parmetros, tendo como referncia as
duas caractersticas bsicas das partculas de grafite
Alongamento
Irregularidade de contorno
Comparou-se a qualidade dos diversos conjuntos atravs da
discriminao por eles fornecida
Mxima separao entre classes distintas
Mnima separao dentro da mesma classe
150 S. Paciornik DEMa PUC-Rio
Parmetros testados
Razo de calibres

Razo de permetros

Razo de elipses

Fator de forma circular

o e | propostos por Hecht

Fator de forma de proposto por
Karsay:
Ex: Ferro Fundido (cont.)
Parmetros testados (cont.)
Razo entre permetro e
circunferncia circunscrita

Fator citado por Grum

Fator proposto por Grum

Raio mdio do contorno

Varincia dos raios do contorno

Varincia normalizada
FERETMAX
FERETMIN
FERETRATIO =
PERIMF
PERIMC
PERIMRATIO =
ELLIPSEA
ELLIPSEB
ELLRATIO =
2
PERIMCROFT
AREAF 4
FCIRCLE

=
AREA 3
FERETMAX 4

=
FCIRCLE
1
=
2
FERETMAX
AREA 4
Karsay

=
FERETMAX PERIMCROFT
AREA 4
Ff

=
3
2
FERETMAX PERIMCROFT
AREA 16
Grum

=
FERETMAX
PERIMCROFT
Rpc

=
( ) ( )

=
+ =
N
1
2
G
2
G
P
1
Rmedio
i
i i
y y x x
( ) ( )
2
N
1
2
G
2
G
Rmedio
P
1
Rvar

=
(

+ =
i
i i
y y x x
( ) ( )
| |
2
N
1
2
2
G
2
G
Rmedio - FERETMAX
Rmedio
P
1
RvarNorm

=
(

+
=
i
i i
y y x x
151 S. Paciornik DEMa PUC-Rio
Ex: Ferro Fundido (cont.)
Conjuntos de parmetros:
1) KS Expert
FERETRATIO
PERIMRATIO
FCIRCLE
ELLRATIO
2) Hecht
o e |
3) Novo conjunto proposto
FCIRCLE
Karsay
Novo parmetro

Teste de discriminao
A qualidade de cada conjunto foi
testada aplicando o classificador
escolhido sobre os objetos do prprio
conjunto de treinamento.
Os melhores resultados foram obtidos
com o classificador Bayesiano e o
conjunto 3.
Ff
RvarNorm
Novo =
Taxa de Acerto
Classe CJ 1 CJ 2 CJ 3
I 97.06 100.0 100.0
II 77.78 77.78 83.33
III 89.29 91.07 96.43
IV 87.50 91.67 100.0
V 78.95 89.47 100.0
VI 100.0 100.0 100.0
Total 89.41 92.35 97.06
Classificadores Testados
Distncia Euclidiana
Mahalanobis
Bayesiano
152 S. Paciornik DEMa PUC-Rio
Ex: Ferro Fundido (cont.)
Visualizao grfica da qualidade do treinamento
Classe I
Cinzenta
Classe II
Intermediria
Classe III
Vermicular
Classe IV
Nodula irregular
Classe V
Nodular incerta
Classe VI
Nodular
153 S. Paciornik DEMa PUC-Rio
Ex: Ferro Fundido (cont.)
Classificao de imagens reais
Classe np %
1 0 0.00
2 12 24.00
3 9 18.00
4 3 6.00
5 13 26.00
6 13 26.00
Total 50 100.00
Classe %
1 20 33.90
2 26 44.07
3 10 16.95
4 2 3.39
5 1 1.69
6 0 0.00
Total 59 100.00
Classe np %
1 0 0.00
2 2 2.22
3 11 12.22
4 6 6.67
5 25 27.78
6 46 51.11
Total 90 100.00
154 S. Paciornik DEMa PUC-Rio
A Transformada de Fourier
Conceito Bsico
No sculo XVIII, Fourier mostrou que
uma funo qualquer pode ser
escrita atravs da soma de senos com
diferentes amplitudes, freqncias e
fases.
A preciso desta aproximao
depende da extenso da soma. Se as
freqncias variam de - a +, a
soma representa exatamente a funo
original
Fourier demonstrou este fato para uma
soma discreta onde as freqncias dos
senos variam em intervalos discretos.
A noo de Transformada
Com o advento do clculo diferencial
e integral, este conceito foi estendido
para uma soma em que os intervalos
de freqncia so infinitesimais,
levando a uma integral.
A Transformada de Fourier (FT) de
uma funo f(x) uma outra funo
que representa as amplitudes e as
fases de cada uma das funes seno
usadas na integral.
Porque ela contm infomaes de
amplitude e fase, a FT normalmente
tratada como uma grandeza complexa
que tem mdulo e fase.
155 S. Paciornik DEMa PUC-Rio
Nmeros Complexos
Reviso de nmeros complexos
Z = a + ib
a a parte real de Z (Re(Z))
b a parte imaginria de Z (Im(Z))
Z tambm pode ser escrito como
Z =|Z|(cos +isin)
onde
|Z| =(a
2
+b
2
) o mdulo de Z
tg =b/a, a fase de Z
Outra notao para Z na sua forma
polar Z =|Z|Z
Aritmtica
Se
Z
1
=a +ib =|Z
1
| Z
1
e
Z
2
=c +id =|Z
2
| Z
2

ento
Z
1
+Z
2
=(a +c) +i(b +d)
Z
1
- Z
2
=(a - c) +i( b - d)
Z
1
* Z
2
=|Z
1
||Z
2
| Z(
1
+
2
)
Z
1
/ Z
2
=|Z
1
|/|Z
2
| Z(
1
-
2
)
Exponencial complexa
exp(Z) =e
a
[cos(b) +isin(b)]
exp(ib) =cos(b) +isin(b)
cos(b) =[exp(ib) +exp(-ib)] / 2
sin(b) =[exp(ib) - exp(-ib)] / 2i
Z =|Z|(cos +isin) Z = ,Z,exp(i)

exp(i0) = 1 exp(it) = -1
exp(it/2) = i exp(-it/2) = -i
Re
Im
a
b
|Z|

156 S. Paciornik DEMa PUC-Rio
Formulao Matemtica
Noes bsicas
Transformada direta e inversa em uma dimenso




F(u) uma funo complexa =>F(u) = |F(u)| e
i|
Espectro de Potncia - P(u) = |F(u)|
2

Lembrando que exp[-i2tux] = cos 2tux - isin2tux nota-se que a FT nada mais do que a
superposio de senos e cossenos para gerar uma funo, onde u a varivel de freqncia.
Transformada direta e inversa em duas dimenses
{ } | |
{ } | | dv du vy ux i u F y x f v u F FT
dy dx vy ux i y x f v u F y x f FT
}
}
+

+

+ t = =
+ t = =
) ( 2 exp ) , ( ) , ( ) , (
) ( 2 exp ) , ( ) , ( ) , (
1
v
FT f (x) { }= F(u) = f ( x) exp i2tux | |dx

+
}
FT
1
F(u) { } = f (x) = F(u) exp i2tux | |du

+
}
Sntese de Fourier
Anlise de Fourier
157 S. Paciornik DEMa PUC-Rio
|F(u)|
AX
Calculando o mdulo




E a fase
A funo degrau em 1D
A
X x
f(x)
F(u) = f (x) exp[i2tux]

+
}
dx =
= Aexp[i2tux]dx
0
X
}
=
=
A
i2tu
0
X
e
i 2tux
| |
=
=
A
i2tu
e
i 2tuX
1
| |
=
=
A
i2tu
e
ituX
e
ituX
| |
e
ituX
=
=
A
tu
sin(tuX)e
ituX
F(u) =
A
tu
sin(tuX) e
ituX
=
= AX
sin(tXu)
tXu
1/X 2/X 3/X -3/X -2/X -1/X 0
u
(u)
t
2t
3t
(u) = tXu
Sinc(u)
158 S. Paciornik DEMa PUC-Rio
A funo janela em 2D
Yv Xu v u
vY
vY
uX
uX
AXY v u F
vY
e vY
uX
e uX
AXY
v i u i
A
dy vy i dx ux i A
dxdy vy ux i y x f v u F
vY i uX i
vy i
Y
ux i
X
Y X
e e
t t =
t
t
t
t
=
(

t
t
(

t
t
=
=
t t
=
= t t =
= + t =
t t
t t
+

(

} }
} }
) , (
) sin( ) sin(
) , (
) sin( ) sin(
2 2
] 2 exp[ ] 2 exp[
)] ( 2 exp[ ) , ( ) , (
2
0
2
0
0 0
|F(u,v)|
f(x,y)
159 S. Paciornik DEMa PUC-Rio
A Transformada de Fourier Discreta
Conceito
Quando trabalhamos com imagens digitais, devemos adaptar o clculo da FT para lidar
com uma funo discretizada, ou amostrada.
Se uma funo contnua f(x,y) discretizada por amostragem de N pontos com
intervalo Ax e N pontos com intervalo Ay teremos a DFT (Discrete Fourier Transform)
e sua inversa na forma
F(u, v) =
1
N
f (x, y) exp i2t(
ux + vy
N


(

y=0
N1

x=0
N1

u, v = 0,1, 2, .. ., N 1
f (x, y) =
1
N
F(u, v) exp i2t(
ux + vy
N


(

v=0
N1

u=0
N1

x, y = 0,1, 2, .. ., N 1
Au =
1
NAx
Av =
1
NAy
160 S. Paciornik DEMa PUC-Rio
Propriedades da DFT
Caractersticas especiais
A DFT tem uma srie de propriedades importantes para seu clculo e interpretao.
Algumas destas propriedades esto diretamente relacionadas com sua caracterstica
discreta.
Separabilidade
A DFT separvel em x e y, ou em u e v.


Isto permite que o clculo seja dividido em duas etapas, simplicando o processo.
Primeiro calcula-se a DFT de cada linha da imagem e forma-se uma imagem intermediria
com estes resultados.
Em seguida calcula-se a DFT de cada coluna desta imagem para obter-se o resultado final.
Linearidade

F(u, v) =
1
N
exp
i2tux
N



(

(
f (x, y) exp
i2tvy
N



(

(
y =0
N 1

x =0
N 1

DFT a f (x, y) + b g(x, y)


| |
= a DFT f (x, y)
| |
+ b DFT g(x, y)
| |
161 S. Paciornik DEMa PUC-Rio
Simetria do Conjugado
Simetria do conjugado ou Hermitiana
Se f(x,y) real (como todas as imagens comuns so), ento a DFT ter simetria por
inverso em relao origem, ou seja
F(u,v) = F
*
(-u,-v) => |F(u,v)| = |F(-u,-v)|
Esta propriedade permite simplificar o processo de clculo por que apenas necessrio
calcular e armazenar metade dos pontos da DFT.
Como normalmente a origem das imagens digitais tomada no canto superior esquerdo,
a DFT mostraria metade de um perodo e em seguida a outra metade, de forma
descontnua. Para evitar este problema, a origem da DFT transladada para o centro da
imagem, como veremos a seguir.
162 S. Paciornik DEMa PUC-Rio
f (x, y)(1)
x +y
F(u
N
2
, v
N
2
)
Translao e Mudana de Fase
Translao e mudana de fase
Uma translao na imagem implica numa mudana de fase na DFT e vice-versa.
Seja
f(x,y) <=> F(u,v) um par funo-DFT. Ento





Um caso particular muito til ocorre para u
0
= v
0
= N/2
Como


Ento
f ( x x
0
, y y
0
) F(u, v) exp
i2t(ux
0
+ vy
0
)
N



(

(
f ( x, y) exp
i2t(u
0
x + v
0
y)
N



(

(
F(u u
0
, v v
0
)
exp
i2t(u
0
x + v
0
y)
N


(

= exp it(x + y)
| |
= (1)
x+y
Ou seja, para transladar a DFT para o centro
do espao NxN, basta realizar primeiro a
multiplicao de f(x,y) pelo fator (-1)
x+y
e
depois calcular a DFT. Este fator
extremamente rpido de computar.
163 S. Paciornik DEMa PUC-Rio
Rotao e Mudana de Escala
Rotao
Uma rotao da imagem por um
ngulo qualquer implica numa rotao
idntica na DFT.
Mudana de escala



Se a imagem ampliada (a,b > 1), a FT ter
sua intensidade reduzida e sua escala
comprimida.
Se a imagem reduzida (a,b < 1), a FT ter
sua intensidade aumentada e sua escala
ampliada.
Esta propriedade uma consequncia direta
de que quanto menor uma distncia na
imagem, maior ser a freqncia necessria
para represent-la.
Imagem de uma partcula
facetada de ouro. Os
perodos das oscilaes
so iguais mas as
orientaes so diferentes.
DFT da imagem acima.
Os pontos brilhantes tem a
mesma freqncia
(mesmo raio) mas esto
girados uns em relao
aos outros.
f (ax, by)
1
ab
F(u a, v b)
164 S. Paciornik DEMa PUC-Rio
Periodicidade
Periodicidade
A DFT e sua inversa so peridicas com perodo N
F(u,v) = F(u+N,v) = F(u,v+N) = F(u+N, v+N)
f(x,y) = f(x+N,y) = f(x, y+N) = f(x+N, y+N)
Isto quer dizer, que para efeito de clculo da DFT, toda imagem considerada
peridica.
Na prtica, impe-se condies peridicas de contorno, repetindo a imagem em x e em
y e calcula-se a DFT desta funo peridica.
165 S. Paciornik DEMa PUC-Rio
Consequncia da Periodicidade
Condies peridicas de contorno
versus periodicidade da imagem
Em geral, no existe nenhuma razo
para a imagem original ser peridica
com perodo N em cada direo. Em
outras palavras, em geral
f(x,y) = f(x + N, y + N)
a no ser que a imagem seja peridica
e seja amostrada de forma que seu
perodo seja um sub-mltiplo da
resoluo.
Isto implica em que ao impormos
CPC na imagem para poder calcular a
DFT, estaremos criando
descontinuidades nas fronteiras, a no
ser em casos especiais.
Estas descontinuidades causaro uma
degradao na DFT, denominada
vazamento (leaking ou streaking).
N
|F(u,v)|
f(x,y)
166 S. Paciornik DEMa PUC-Rio
Valor mdio e ponto central
Valor mdio e ponto central
O valor mdio de f(x,y) diretamente proporcional a F(u,v) para u=v=0 ou F(0,0).





O fator 1/N poder ou no aparecer dependendo de como calculada a DFT.
Nos programas de que dispomos o clculo feito de forma que F(0,0) igual a soma de
todos os pixels de f(x,y).
Isto tambm quer dizer que o ponto central ser nulo se subtrairmos a mdia da imagem
antes de calcularmos a DFT.
Isto pode ser til quando o ponto central muito mais intenso do que qualquer outro ponto
da DFT. Eliminando-o, a normalizao da imagem para o display se torna muito melhor.
F(u, v) =
1
N
f (x, y)
0
N1

0
N1

exp i2t(ux + vy) N | |


f ( x, y) =
1
N
2
f ( x, y)
0
N1

0
N1

=
1
N
F(0, 0)
167 S. Paciornik DEMa PUC-Rio
O Teorema da Convoluo
A Transformada de Fourier da convoluo de duas funes o produto das
Transformadas de Fourier de cada uma das funes.





Assim, a filtragem atravs de kernels pode tambm ser obtida no domnio das
freqncias.
Obtm-se a DFT da imagem
Obtm-se a DFT da imagem correspondente ao filtro
Normalmente completa-se a imagem com zeros (zero padding)
Multiplica-se as duas DFTs
Muitas vezes, j se conhece a DFT do filtro e ela aplicada diretamente como uma mscara
multiplicativa
Calcula-se a IFT do produto que ser a imagem filtrada
Convoluo e Filtragem de Fourier
f (x, y) g(x, y) = f (o, |)g(x o, y |)dod|

+
}

+
}
FT f (x, y) g(x, y)
{ }
= FT f (x, y)
{ }
FT g(x, y)
{ }
FT f (x, y) g(x, y) { }= FT f (x, y) { } FT g(x, y) { }
168 S. Paciornik DEMa PUC-Rio
Filtragem de Fourier
a b = DFT(a)
h = DFT(g)
d = DFT(c)
i = h . b
e = d . b
j = IFT(i)
f = IFT(e)
c = Passa Baixa
1 1 1
1 1 1
1 1 1
g = Passa Alta
-1 -1 -1
-1 8 -1
-1 -1 -1
169 S. Paciornik DEMa PUC-Rio
Vantagens e Problemas
Vantagens da filtragem de Fourier
mais rpida quando o kernel
grande.
A aplicao do filtro como uma
mscara permite uma preciso muito
maior na definio do seu efeito e
elimina problemas associados s
bordas da imagem.
Mscaras no domnio de Fourier
Caso a mscara tenha bordas abruptas,
implicando em altas freqncias em
sua IFT, isto introduzir artefatos na
imagem resultante.
Pelo Teorema da Convoluo, o efeito
da multiplicao aparece como uma
convoluo no espao real.
Isto quer dizer que uma mscara com
borda abrupta afetar todos os pontos
da imagem original.
Leaking e mscaras no domnio do espao
A exigncia de que a imagem seja uma
funo peridica, equivale a multiplicar a
imagem por uma funo janela com tamanho
igual ao da imagem.
Esta multiplicao aparece como uma
convoluo no domnio de Fourier entre a
DFT da imagem e a DFT da janela.
Novamente, todos os pontos da DFT da
imagem sero afetados.
A DFT da funo janela
sinc(tuM).sinc(tvN) (onde M e N so a
largura e altura da imagem). Esta funo
decai e tem seu primeiro zero em 1/M (1/N)
que corresponde ao valor mximo no
domnio das freqncias. Isto explica porque
o leaking atravessa a imagem de lado a lado
e porque mais visvel sobre pontos
brilhantes da DFT.
170 S. Paciornik DEMa PUC-Rio
Correlao
O Teorema da Correlao
Definindo a correlao entre duas funes (tambm chamada de correlao cruzada -
cross correlation - XCF)



possvel mostrar que



Quando f=g, denomina-se autocorrelao (ACF).
Tambm possvel mostrar que a FT da autocorrelao de uma funo seu espectro
de potncia |F(u)|
2
f (x, y) g(x, y) = f
*
(o, |)g(x + o, y + |)dod|

+
}

+
}
{ } { } { }
{ } { } { } ) , ( ) , ( ) , ( ) , (
) , ( ) , ( ) , ( ) , (
*
*
y x g FT y x f FT y x g y x f FT
y x g FT y x f FT y x g y x f FT
o
o
=
=
{ }
2
) ( ) , ( ) , ( u F y x f y x f FT = o
171 S. Paciornik DEMa PUC-Rio
Visualizao Grfica
Afinal de contas, o que uma correlao ?
o
I(o)
o
I(o)k(x+o)
x
I(x)

k(x)
-
o
k(o)
o
k(- o)
o
k(x+o)
x
< > + < >
o
I(a)k(x+o)
i(x) k(x) = i
*
(o)k(x+o)do

+
}
Obs: Note que neste caso o pico
da correlao corresponde a
superposio mxima entre i e k,
referidos mesma origem.
o
I(o)k(x+o)
x < 0
x = 0 x>0
172 S. Paciornik DEMa PUC-Rio
Funcionamento da Correlao
Faixa de Valores
A correlao uma medida da
similaridade entre duas imagens.
Normalmente, seus valores esto entre -1 e
1.
1 => imagens idnticas
0 => imagens descorrelatadas
-1 => uma imagem o negativo da
outra.
Analogia com produto escalar
A correlao uma soma dos produtos
ponto a ponto entre duas imagens.
Se cada imagem tratada como um vetor
de N dimenses onde N o nmero total
de pixels da imagem, a correlao
corresponde exatamente ao produto
escalar entre os dois vetores.
f - g = f
i
g
i
i=1
N

Imagem Original
Imagem de
Autocorrelao.
O pico tem valor 1 e
est exatamente sobre
o pixel central da
imagem, indicando
perfeito registro entre
a imagem e ela
mesma.
173 S. Paciornik DEMa PUC-Rio
Aplicaes da Correlao
Alinhamento entre imagens (Image Register)
Quando duas ou mais imagens so muito semelhantes, mas podem estar
deslocadas umas em relao s outras, a correlao permite medir o
deslocamento e colocar as imagens em registro.
Para isso, calcula-se a XCF entre duas imagens e localiza-se o pico de
intensidade. O deslocamento do pico em relao ao centro da imagem
fornece o deslocamento entre as imagens.
Aplicaes
Ajuste entre ladrilhos de uma imagem em mosaico
Ajuste entre imagens em uma seqncia tomogrfica ou em microscopia
co-localizada.
Deteco de deslocamento e erros entre objetos em uma linha de
montagem.

174 S. Paciornik DEMa PUC-Rio
Exemplo: Alinhamento e Comparao
Comparao entre imagens
numa linha de montagem
para verificar erros.
Calcula-se a correlao entre a
imagem atual e uma referncia
Detecta-se o pico de
correlao e determina-se o
vetor de deslocamento em
relao ao centro da imagem
As imagens so colocadas em
registro, transladando a
imagem pelo vetor
determinado
As imagens so subtradas
Se a diferena for maior do
que um certo limiar,
determina-se um erro.
Imagem de Referncia
Imagem de XCF
Mximo da XCF
Centro da Imagem
Imagem de erro, obtida aps
alinhamento e subtrao
Imagem deslocada
e defeituosa
175 S. Paciornik DEMa PUC-Rio
Template Matching
Template Matching
A correlao muito utilizada no
template matching , onde se procura
localizar, numa imagem grande, a
ocorrncia de objetos semelhantes a uma
imagem pequena, o molde.
Ao calcular a correlao entre a imagem
grande e o molde, as posies nas quais
a imagem grande se assemelha ao molde
tero alto valor da correlao.
Desta forma, uma busca de extremos na
imagem da correlao fornecer as
posies, e o valor dos extremos
fornecer o grau de semelhana.
Este procedimento pode ser realizado no
domnio das freqncias ou do espao.
Quando o template grande, o clculo
no domnio das freqncias mais
veloz.
Caso haja necessidade de normalizar os
valores para permitir comparao entre
diferentes imagens, s possvel realizar
o clculo no domnio espacial.
Exemplo: Reconhecimento de letras
Imagem Original Correlao com retngulo vermelho
Correlao >=0.80
Correlao >=0.96 Correlao >=0.88
Note a deteco das letras E,
(E com acento) e F, em
funo do limiar de correlao
utilizado.
Esta tcnica no apresenta
boa performance no
reconhecimento de caracteres.
176 S. Paciornik DEMa PUC-Rio
Normalizao
Se a inteno comparar diversas imagens com uma imagem de referncia, e se as
diversas imagens podem ter faixas distintas de intensidade, necessrio normalizar os
dados para permitir uma comparao quantitativa. Para isso define-se o coeficiente de
correlao normalizado




onde
i e t so a imagem e o template, respectivamente
t o valor mdio do template
i o valor mdio da parcela da imagem que
coincide com o template a cada instante do processo
os somtorios atuam sobre as coordenadas comuns
a i e t.
CCC no pode ser obtido no domnio de Fourier
Coeficiente de Correlao
CCC(r, s) =
i(x, y) i (x, y)
| |
t(x r, y s) t
| |
y

i(x, y) i (x, y)
| |
2
t(x r, y s) t
| |
2
y

(r,s)
i(x,y)
t(x-r,y-s)
x
y
177 S. Paciornik DEMa PUC-Rio
Exemplo Interessante
Reconhecimento de Padres
Em imagens obtidas por HRTEM - High
Resolution Transmission Electron
Microscopy, surgem padres formados
pela distribuio espacial organizada dos
tomos do material. Estas unidades
estruturais (UEs) so importantes na
caracterizao do material a nvel
microscpico.
A tcnica de Template Matching pode ser
usada com sucesso neste caso.
A partir de uma UE identificada pelo
operador, possvel localizar as
ocorrncias de outras unidades
semelhantes.
O valor de CCC para cada UE localizada,
uma medida de similaridade.
Diversas UEs podem ser extradas e
somadas, melhorando a relao sinal rudo.
Imagem de uma fronteira de gro em TiO
2
com uma
UE assinalada.
Imagem de CCC mostrando o centro de UEs semelhantes.
Original Mdia
Somando as vrias unidades obtm-se uma reduo do rudo.
178 S. Paciornik DEMa PUC-Rio
A Transformada Rpida de Fourier
Um algoritmo Eficiente para o Clculo da DFT
Relembrando a expresso para a DFT em 1D



O nmero de operaes (
*
,+) proporcional a N
2

Para cada um dos N valores de u, realiza-se N multiplicaes de f(x) pela exponencial e N-1
adies dos resultados. Ou seja para cada u temos O(N) operaes.
Ao total teremos NxO(N) = O(N
2
) para 1D
Os termos internos da exponencial podem ser calculados apenas uma vez e armazenados
numa tabela. Por isso eles no so includos no clculo do nmero de operaes.
A Fast Fourier Transform reduz o nmero de operaes para O(Nlog
2
N) em 1D
O ganho computacional enorme
Para uma imagem 512x512 o ganho de cerca de 30000 vezes.
Se o tempo da FFT de 5 segundos o d DFT seria de cerca de 40 horas.
F(u) =
1
N
f ( x) exp
i2tux
N



(

(
x =0
N1

179 S. Paciornik DEMa PUC-Rio


F(u) =
1
2
1
M
f (2x)W
M
ux
x=0
M1

+
1
M
f (2x +1)W
M
ux
W
2M
u
x=0
M1




(

(
{

{

F
par
(u) F
mpar
(u)
(5)
O algoritmo da FFT
O algoritmo da FFT
Vamos escrever F(u) na forma

onde
e N uma potncia de 2 ou seja N=2
n
. Assim N pode ser escrito tambm como N=2M.
Substituindo na expresso original teremos



Da definio de W fcil ver que
Assim a expresso acima pode ser reescrita como
F(u) =
1
N
f (x)W
N
ux
x=0
N1

(1)
W
N
= exp
i2t
N
| |
(2)
(3)
(4)
F(u) =
1
2M
f ( x)W
2M
ux
x=0
2M1

=
=
1
2
1
M
f (2x)W
2M
u(2x)
x=0
M1

+
1
M
f (2x +1)W
2M
u(2x+1)
x=0
M1




(

(
F(u) =
1
2M
f ( x)W
2M
ux
x=0
2M1

=
=
1
2
1
M
f (2x)W
2M
u(2x)
x=0
M1

+
1
M
f (2x +1)W
2M
u(2x+1)
x=0
M1




(

(
W
2M
2ux
= W
M
ux
180 S. Paciornik DEMa PUC-Rio


Assim

Mas como
podemos escrever


Estas expresses indicam que para calcular uma transformada de N pontos, podemos
dividir o clculo em duas metades conforme indicado em (8) e (10).
A primeira metade (8) requer duas transformadas com N/2 pontos cada (6 e 7). Os
valores so ento substitudos em (8) para obter a primeira metade de F(u) para
u=0,1,..,(N/2-1).
A segunda metade obtida de (10) sem novo clculo de transformada.
O algoritmo da FFT (cont.)
F(u) =
1
2
F
par
(u) + F
mpar
(u)W
2M
u
| |
W
M
u+M
= W
M
u
W
2M
u+M
= W
2M
u
F(u + M) =
1
2
F
par
(u) F
mpar
(u)W
2M
u
| |
(8)
(9)
(10)
F
par
(u) =
1
M
f (2x)W
M
ux
x=0
M1

F
mpar
(u) =
1
M
f (2x +1)W
M
ux
x=0
M1
(6,7)
181 S. Paciornik DEMa PUC-Rio
Nmero de Operaes
Nmero de operaes de adio (a) e Multiplicao (m)
Supondo primeiro apenas dois pontos N=2 => n=1 =>M=1
Queremos obter F(0) e F(1).
F(0) obtido a partir de (6) e (7) e depois (8)







F(1) obtido apenas de (10) j que (6) e (7) j foram calculadas. Isto implica em mais uma
subtrao (equivalente a adio).
Desta forma m(1)=1 e a(1)=2
F
par
(0) =
1
M
f (2x)W
M
0
x=0
M1

=
1
1
f (2x).1
x =0
0

= f (0)
F
mpar
(0) =
1
M
f (2x +1)W
M
0
x =0
M1

=
1
1
f (2x +1).1
x =0
0

= f (1)
F(0) =
1
2
F
par
(0) + F
mpar
(0)W
2
0
| |
m=1, a=1
n=0, a=0
182 S. Paciornik DEMa PUC-Rio
Nmero de Operaes (cont.)
Supondo agora quatro pontos N=4 => n=2 =>M=2
Queremos obter F(0), F(1), F(2) e F(3).
F(0) e F(1) so obtidas a partir de (6) e (7) com 2 transformadas de 2 pontos, e depois de (8).
Uma transformada de 2 pontos usa m(1) e a(1). Assim precisamos de 2m(1) e 2m(1) para
calcular (6) e (7).
Para calcular (8) para F(0) e F(1) precisamos de mais duas adies e multiplicaes.
Para obter F(2) e F(3) basta calcular (10) o que exige mais duas adies.
O nmero total m(2) = 2m(1) + 2 e a(2) = 2a(1) + 4
Para oito pontos N=8 (n=3, M=4) sero necessrias
m(3) = 2m(2) + 4
a(3) = 2a(2) + 8
A expresso geral define o nmero de operaes de forma recursiva
m(n) = 2m(n-1) + 2
n-1

a(n) = 2a(n-1) + 2
n
Este o mtodo da duplicao sucessiva (sucessive doubling alghorithm).
O mtodo exige que N seja uma potncia de 2.
183 S. Paciornik DEMa PUC-Rio
Complexidade
Complexidade Computacional
Vamos mostrar que



Usando induo, temos que provar a validade para n=1 e, em seguida, supondo a
validade para n mostrar que vale para n+1.
Provando para n=1



Para n+1. Das equaes (11) e (12)
m(n) =
1
2
2
n
log
2
2
n
=
1
2
Nlog
2
N =
1
2
Nn
a(n) = 2
n
log
2
2
n
= Nlog
2
N = Nn
m(1) =
1
2
(2)(1) = 1
a(1) = (2)(1) = 2
m(n +1) = 2m(n) + 2
n
=
= 2
1
2
Nn
|
\
|
.
+ 2
n
= 2
1
2
2
n
n
|
\
|
.
+ 2
n
=
= 2
n
n +1 ( ) =
1
2
2
n +1
( )
(n +1)
a(n +1) = 2a(n) + 2
n +1
=
= 2 Nn ( )+ 2
n+1
= 2 2
n
n
( )
+ 2
n+1
=
= 2
n+1
n +1
( )
184 S. Paciornik DEMa PUC-Rio
Implementao
Exemplo
Vamos analisar uma FFT de 8 pontos f(0), f(1), f(2) , f(3) , f(4) , f(5) , f(6) , f(7).
Para calcular as partes par e mpar precisamos primeiro separar os pontos de entrada em
dois grupos
f(0), f(2), f(4), f(6) (par) e f(1), f(3), f(5), f(7) (mpar)
Estes por sua vez devem ser separados tambm em suas partes par e mpar.
A seqncia completa a seguinte
f(0) f(1) f(2) f(3) f(4) f(5) f(6) f(7)
f(0) f(2) f(4) f(6) f(1) f(3) f(5) f(7)
f(0) f(4) f(2) f(6) f(1) f(5) f(3) f(7)
f(0) f(4) f(2) f(6) f(1) f(5) f(3) f(7)
Transformadas
de 2 pontos
Transformadas
de 4 pontos
Transformada de 8 pontos
Para executar o algoritmo, os pontos de f(x) devem
ser reordenados antes do clculo. A reordenao
trivial se notarmos que a nova posio pode ser
obtida da antiga expressando x em modo binrio e
refletindo os bits.
f(0) => 0 0 0 => 0 0 0 => f(0)
f(1) => 0 0 1 => 1 0 0 => f(4)
f(2) => 0 1 0 => 0 1 0 => f(2)
f(3) => 0 1 1 => 1 1 0 => f(6)
f(4) => 1 0 0 => 0 0 1 => f(1)
f(5) => 1 0 1 => 1 0 1 => f(5)
f(6) => 1 1 0 => 0 1 1 => f(3)
f(7) => 1 1 1 => 1 1 1 => f(7)
185 S. Paciornik DEMa PUC-Rio
A Transformada de Hough
Conceito
Assim como a Transformada de Fourier mapeia as freqncias espaciais de uma
imagem em um espao onde componentes peridicas aparecem como pontos brilhantes,
existem diversas outras transformadas que mapeiam outras caractersticas da imagem.
A Transformada de Hough (TH) tem a propriedade de mapear elementos geomtricos
especficos (linhas retas, crculos, etc) em pontos brilhantes.
Na sua definio original, e mais simples, a TH utilizada para identificar linhas retas
em imagens. Esta ser a implementao estudada neste curso.
Aplicaes
A TH utilizada em diversas reas tais como
Aerofotogrametria e sensoriamento remoto
Na identificao de estruturas regulares como estradas, campos de pouso, etc...
Microscopia
Na identificao de estruturas tais como lamelas, fronteiras de gro, etc...
186 S. Paciornik DEMa PUC-Rio
A equao da reta e sua transformada
Considere a equao da reta que passa pelo ponto (x
i
,y
i
)

Infinitas retas podem passar pelo ponto (x
i
,y
i
) mas se reescrevemos a equao

encontramos a equao de uma reta no espao de parmetros definido por a e b.
Um segundo ponto (x
j
,y
j
) tambm ter uma reta correspondente no plano ab. A
interseco entre estas duas retas corresponde a um ponto no plano ab. As coordenadas
deste ponto, (a, b), correspondem ao coeficiente angular e linear da reta que une (x
i
,y
i
)
e (x
j
,y
j
) no espao real. Cada ponto da reta no espao (x,y) gerar uma reta no espao
de parmetros, e todas estas retas passam pelo mesmo ponto (a, b).
Mapeando Retas em Pontos
y
i
= ax
i
+ b
b = x
i
a+ y
i
x
y
x
i
x
j

y
i

y
j

a
b
a
b
b = x
i
a+ y
i
b = x
j
a + y
j
187 S. Paciornik DEMa PUC-Rio
A representao normal de uma reta
A utilizao da equao y=ax + b no
adequada porque os valores de a e b
tendem a infinito para retas verticais.
Sendo assim, prefere-se utilizar a
representao normal de uma reta dada
por


Neste caso obtm-se a TH no espao de
parmetros , u.
Agora, cada ponto (x,y) ser mapeado
como uma funo senoidal no espao de
Hough.
Um conjunto de pontos colineares no
espao real ir gerar um conjunto de
senides no espao de Hough.
Estas senides tero um ponto de
interseco que identifica a presena da
reta que une estes pontos no espao real.
Um mapeamento melhor
xcosu + ysinu =
188 S. Paciornik DEMa PUC-Rio
Transformada de Hough de pontos em um quadrado (G&W pg.437)










Cada ponto indicado mapeado como uma senide.
A interseco de senides indica a colinearidade de pontos na imagem original.
Ex: Ponto A, corresponde diagonal que une 2, 3 e 4 => = L2/2 e u = 45
o

O ponto 1 tem = 0, o que implica numa senide de amplitude zero.
Um exemplo simples
1 2
4 5
3
L
L
-2L
2L
u
0
-90 +90
0
1
4
3
2
5
A
-L
L
u = 45
o
189 S. Paciornik DEMa PUC-Rio
Exemplo mais completo
Considere a figura abaixo e sua TH
TH
TH Inversa a partir
dos 8 pontos mais
brilhantes da TH
190 S. Paciornik DEMa PUC-Rio
Segmentao usando a TH
Exemplo (G&W pg. 439)
Identificao
da pista de
pouso obtida a
partir dos trs
pontos mais
brilhantes da
TH.
Imagem
original de
um hangar e
uma pista de
pouso.
Imagem de
bordas,
mostrando
apenas os
pontos de
maior
gradiente.
http://www.dai.ed.ac.uk/HIPR2/hough.htm
TH da Imagem
de bordas. Note
os pontos
brilhantes
relativos s
linhas retas na
imagem
original
191 S. Paciornik DEMa PUC-Rio
Segmentao usando a TH
Imagem Original Deteco de bordas
TH com seleo de pontos correspondentes
a retas verticais e alongadas
Retas identificadas Retas sobrepostas imagem original
192 S. Paciornik DEMa PUC-Rio
Exemplo: Morfometria de Neurnios
Imagem Original Reduo de rudo: mediana 3x3
1 2
193 S. Paciornik DEMa PUC-Rio
Segmentao Adaptativa (invertida)
Scrap de 10 pixels: elimina pequenos buracos
Exemplo (cont.)
3 4
194 S. Paciornik DEMa PUC-Rio
Inverso (NOT)
Abertura para quebrar estruturas
finas e irregulares
5 6
Exemplo (cont.)
195 S. Paciornik DEMa PUC-Rio
Novo scrap para limpar o fundo Preenchimento das fibras
7 8
Exemplo (cont.)
196 S. Paciornik DEMa PUC-Rio
Identificao dos ncleos
Eliminao de ncleos com forma irregular
9 10
Exemplo (cont.)
197 S. Paciornik DEMa PUC-Rio
Dilatao derradeira para definir
fronteiras entre as fibras
Separao das fibras: 11 XOR 7
11 12
Exemplo (cont.)
198 S. Paciornik DEMa PUC-Rio
Bordas sobrepostas Neurnios classificados por espessura
13
Exemplo (cont.)

Potrebbero piacerti anche