Análise e Identificação de Obras de Arte - 2012 PDF

Pedro Filipe Marques de Almeida
Licenciado em Engenharia Informtica
Anlise e Identificao de Obras de Arte
Dissertao para obteno do Grau de Mestre em

Engenharia Informtica
Orientadores : Nuno Correia, Prof. Catedrtico, Universidade

Nova de Lisboa
Rui Jesus, Prof. Adjunto, Instituto Superior de En-
genharia de Lisboa
Jri:
Presidente: Prof. Doutor Pedro Manuel Corra Calvente Barahona
Arguente: Prof. Doutor Pedro Miguel Torres Mendes Jorge
Vogal: Prof. Doutor Nuno Manuel Robalo Correia
Novembro, 2012
iii
Anlise e Identificao de Obras de Arte
Copyright
c Pedro Filipe Marques de Almeida, Faculdade de Cincias e Tecnologia,
Universidade Nova de Lisboa
A Faculdade de Cincias e Tecnologia e a Universidade Nova de Lisboa tm o direito,

perptuo e sem limites geogrficos, de arquivar e publicar esta dissertao atravs de ex-
emplares impressos reproduzidos em papel ou de forma digital, ou por qualquer outro
meio conhecido ou que venha a ser inventado, e de a divulgar atravs de repositrios
cientficos e de admitir a sua cpia e distribuio com objectivos educacionais ou de in-
vestigao, no comerciais, desde que seja dado crdito ao autor e editor.
iv
minha av Eugnia
vi
Agradecimentos
Durante o perodo em que a dissertao foi realizada vrios elementos, quer institu-
cionais quer individuais, contriburam para o seu sucesso, tendo representado uma ajuda
preciosa. Na vida deparamo-nos com inmeras dificuldades, contudo com muito esforo
e dedicao consegue-se ultrapassar essas dificuldades. Felizmente ao longo da disser-
tao surgiram ajudas muito teis e as quais ficaro para sempre. Gostaria assim de
expressar os meus sinceros agradecimentos:
Fundao para a Cincia e a Tecnologia (FCT) pelo apoio financeiro prestado no

mbito do projecto "Histria, Materiais e Tcnicas de pintores portugueses, 1850-
1918: Romantismo, Naturalismo e Modernismo" PTDC/ EAT-EAT/113612/ 2009.
Ao meu orientador, Nuno Correia, pela confiana, disponibilidade, liberdade e su-

porte sempre que necessrio.
Ao meu orientador, Rui Jesus, pelo tempo disponibilizado, pelo seu conhecimento
e pelo seu gosto em ajudar.
professora Maria Joo Melo, pela simpatia e motivao para chegar mais alm;
dedicao excepcional da aluna de Doutoramento em Conservao e Restauro,

Cristina Montagner, mostrando-se sempre disponvel para ajudar, ouvir, discutir
novas ideias e partir descoberta de novas solues.
Exma. Isabel Carlos, directora do Centro de Arte Moderna, e Dra. Ana Vascon-
celos, curadora do Centro de Arte Moderna da Fundao Calouste Gulbenkian.
Ao professor Srgio Nascimento, Departamento de Fsica da Universidade do Minho,

e sua equipa: Joo Manuel Linhares, Hlder Tiago Correia e Osamu Masuda pela
aquisio de imagens hiperespectrais das pinturas.
Ao professor Marcello Picollo, Instituto de Fsica Aplicada Nello Carrara, IFAC-

CNR (Florena) pela anlise utilizando a Fiber Optics Reflectance Spectroscopy
(FORS).
vii
viii
Ao professor Joo Pedro Martins de Almeida Lopes, Investigador Auxiliar na Fac-

uldade de Farmcia, Universidade do Porto, pelo auxlio ao nvel da anlise de
imagens hiperespectrais.
Aos meus colegas de curso, Nuno Grade, Ana Fernandes, Srgio Silva, Andr Simes
pelo suporte dado ao longo da elaborao da dissertao.
minha namorada Nicole Silva, por todo o apoio, fora, carinho, dedicao e
pacincia reveladas ao longo de todo o desenvolvimento.
minha famlia, em especial minha me Emilia Almeida e minha av Eugnia

Caiado, e aos restantes amigos por todo apoio, em especial ao Ricardo Pedrosa,
Ana Cordeiro e Sofia Pedrosa.
Resumo
Tradicionalmente, a anlise de obras de arte era efectuada apenas por historiadores e

outros peritos, sendo este um processo longo e complicado, exigindo a anlise de vrias
evidncias. Entre essas evidncias destacam-se a anlise da pincelada caracterstica do
pintor, a anlise da assinatura do pintor caso exista e a anlise dos materiais utilizados.
Com o desenvolvimento das tcnicas de processamento e anlise de sinal e de imagem
verificou-se que estas poderiam dar suporte aos historiadores na anlise de obras de arte,
ajudando a desvendar grande parte das incgnitas que ainda existem sobre alguns pin-
tores. Assim, alguns museus decidiram criar repositrios digitais das suas coleces de
modo a que vrios investigadores possam trabalhar nesses documentos, evitando assim
o contacto fsico com a obra de arte.
Entre os interessados neste tipo de ferramentas encontram-se os museus e os departa-
mentos policiais. Os museus pretendem autenticar e restaurar todas as suas obras. Os de-
partamentos policiais que combatem o contrabando e falsificao de obras de arte esto
tambm interessados pois isto permitiria validar a autenticidade de obras apreendidas
com maior rapidez.
Neste trabalho foram consideradas duas fases principais, incidindo o estudo sobre as
obras do pintor Amadeo de Souza-Cardoso. Numa primeira fase efectuou-se a anlise
das assinaturas atravs da aplicao de tcnicas de processamento de imagem e reconhe-
cimento de padres, com vista a verificao de autenticidade e atribuio de autor assim
como tambm a agrupamento de assinaturas semelhantes. A segunda fase direccionou-
se para a anlise dos materiais utilizados nas pinturas a partir das imagens hiperespec-
trais dos quadros do pintor em anlise.
Palavras-chave: Processamento de imagem, Autenticidade, Atribuio, Assinaturas,Anlise

de Materiais, Imagens Hiperespectrais, Classificao
ix
x
Abstract
Traditionally, the analysis of works of art was made only by historians and other
experts, which is a long and complicated process, requiring the analysis of several evi-
dences. Among these evidences are the analysis of the painters brushstroke, the analysis
of painters signature and the analysis of the materials used. With the development of
techniques for image and signal processing and analysis it was found that they could
support the historians in the analysis of works of art, helping to solve many of the un-
knowns of which still exist about some painters. Some museums have decided to create
digital repositories from their collection so that researchers can work in these documents,
thus avoiding physical contact with the work of art.
Among those interested in this kind of tools are the museums and police departments.
The museums want to authenticate and restore all their works of art. Police departments
that fight smuggling and forgery of works of art are also interested because it would
allow to validate the authenticity of confiscated works more quickly.
This work considered two main phases, focusing on the works of painter Amadeo
de Souza-Cardoso. In a first phase the signatures were analysed, by the application of
image processing and pattern recognition techniques, in order to verify the authenticity
and atribution as well as to group similar signatures. The second phase was directed
to the analysis of materials used in paintings starting from hyperspectral images of the
paintings.
Keywords: Image processing, Authenticity, Atribution, Signatures, Material Analysis,

Hyperspectral Images, Classification
xi
xii
Contedo
1 Introduo 1
1.1 Motivao . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
1.2 Descrio e Objectivos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2
1.3 Soluo Apresentada . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
1.4 Principais Contribuies . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
1.5 Estrutura do Documento . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
2 Trabalho Relacionado 7
2.1 Introduo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
2.2 Extraco de Caractersticas . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
2.2.1 SIFT Scale Invariant Feature Transform . . . . . . . . . . . . . . . 8
2.2.2 Gabor Filter . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
2.2.3 Bag-of-Features . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
2.3 Anlise Computacional de Obras de Arte . . . . . . . . . . . . . . . . . . . 11
2.3.1 Tcnica de Extraco da Orientao Dominante . . . . . . . . . . . 11
2.3.2 Classificao de Pinturas utilizando Caractersticas Locais e Globais 12
2.3.3 Autenticidade de Pinturas Baseada na Utilizao de Wavelets . . . 14
2.4 Anlise de Assinaturas Digitais . . . . . . . . . . . . . . . . . . . . . . . . . 19
2.4.1 Autenticao Baseada nas Caractersticas Geomtricas das Assina-
turas . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
2.4.2 Autenticao de Texto Utilizando Caractersticas de Textura . . . . 21
2.4.3 Identificao de Assinaturas Utilizando Pontos de Interesse . . . . 22
2.4.4 Classificao de Assinaturas atravs de SVMs . . . . . . . . . . . . 23
2.5 Aquisio e Anlise de Imagens Hiperespectrais . . . . . . . . . . . . . . . 25
2.5.1 Aquisio de Imagens Hiperespectrais . . . . . . . . . . . . . . . . . 25
2.5.2 Objectivos para Visualizao de Imagens Hiperespectrais . . . . . . 26
2.5.3 Visualizao de Imagens Hiperespectrais Atravs do Mapeamento
de Trs Comprimentos de Onda . . . . . . . . . . . . . . . . . . . . 27
xiii
xiv CONTEDO
2.5.4 Visualizao de Imagens Hiperespectrais Principal-Components-Based 28

2.5.5 Visualizao de Imagens Hiperespectrais Atravs de Classificao
Supervisionada . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30
2.5.6 Visualizao de Imagens Hiperespectrais Atravs de Classificao
No-Supervisionada . . . . . . . . . . . . . . . . . . . . . . . . . . . 32
2.6 Anlise de Imagens Hiperespectrais em Obras de Arte . . . . . . . . . . . 32
2.6.1 Identificao de Materiais em Obras de Arte . . . . . . . . . . . . . 32
2.6.2 Mapeamento e Identificao de Materiais Utilizados por Picasso . 35
2.7 Discusso . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36
3 Anlise de Obras de Arte 39

3.1 Introduo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
3.2 Anlise de Assinaturas . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40
3.2.1 Pr-Processamento dos Dados . . . . . . . . . . . . . . . . . . . . . 40
3.2.2 Extraco e Organizao de Caractersticas . . . . . . . . . . . . . . 43
3.2.3 Identificao de Perodos Artsticos . . . . . . . . . . . . . . . . . . 45
3.2.4 Classificao de Pinturas Baseada em Caractersticas das Assinaturas 47
3.3 Classificao de Pinturas Baseada em Caractersticas de Pincelada . . . . . 49
3.4 Mapeamento de Materiais . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50
3.4.1 Organizao e Pr-Processamento dos Dados . . . . . . . . . . . . . 50
3.4.2 Mapeamento de Materiais Atravs de Classificao Supervisionada 51
3.4.3 Mapeamento de Materiais Atravs de Classificao No Supervisi-
onada . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55
3.4.4 Mapeamento de Materiais Atravs de Classificao com Base de
Dados Externa . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56
3.5 Classificao de Pinturas Baseada em Diferentes Tipos de Anlise . . . . . 68
3.6 Ambiente de Desenvolvimento . . . . . . . . . . . . . . . . . . . . . . . . . 70
3.7 Discusso . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70
4 Resultados 71
4.1 Resultados da Anlise de Assinaturas . . . . . . . . . . . . . . . . . . . . . 71
4.1.1 Identificao de Perodos Artsticos . . . . . . . . . . . . . . . . . . 71
4.1.2 Classificao de Pinturas Baseada em Caractersticas das Assinaturas 73
4.2 Classificao de Pinturas Baseada em Caractersticas de Pincelada . . . . . 78
4.3 Resultados do Mapeamento de Materiais . . . . . . . . . . . . . . . . . . . 79
4.3.1 Mapeamento de Materiais atravs de Classificao Supervisionada 80
4.3.2 Mapeamento de Materiais atravs de Classificao No-Supervisionada 83
4.3.3 Resultados do Mapeamento de Materiais atravs de Classificao
com Base de Dados Externa . . . . . . . . . . . . . . . . . . . . . . . 84
4.4 Classificao de Pinturas Baseada em Diferentes Tipos de Anlise . . . . . 91
4.4.1 Atribuio de Pinturas . . . . . . . . . . . . . . . . . . . . . . . . . . 91
CONTEDO xv
4.4.2 Atribuio e Autenticao de Pinturas . . . . . . . . . . . . . . . . . 92

4.5 Discusso . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 94
5 Concluses e Trabalho Futuro 99

5.1 Concluses . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 99
5.2 Trabalho Futuro . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 101
6 Apndice 111
6.1 Lista de Elementos Qumicos Materiais Puros . . . . . . . . . . . . . . . . . 111
xvi CONTEDO
Lista de Figuras
2.1 SIFT Keypoints [Low04]. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8

2.2 Visualizao de caractersticas extradas utilizando o Gabor Filter [PD05]
(a) imagem digital, (b) Aplicao de um filtro de Gabor. . . . . . . . . . . . 9
2.3 Exemplo de construo do histograma que representa uma imagem [FFLT]. 11
2.4 Fase de filtragem (a, b). Fase de extraco da orientao (c, d, e) [BPvdH09]. 12
2.5 Arquitectura da infraestrutura construda [She09]. . . . . . . . . . . . . . . 13
2.6 Wavelet Templates utilizados por cada grupo de investigao [JHB+ 08]. . . 15
2.7 Extraco das caractersticas geomtricas da pincelada [JHB+ 08]. . . . . . 16
2.8 Extraco dos valores de energia [JHB+ 08]. . . . . . . . . . . . . . . . . . . 18
2.9 Extraco de Caractersticas Espaciais [jai02] . . . . . . . . . . . . . . . . . 19
2.10 (a) Vertical Splitting, (b) Horizontal Splitting [MRB06]. . . . . . . . . . . . 20
2.11 Diagrama de blocos da tcnica apresentada em [SBT98]. . . . . . . . . . . . 21
2.12 Pontos de interesse extrados nas assinaturas [rui08]. . . . . . . . . . . . . 22
2.13 (a)-(d) Matches entre pares de assinaturas [rui08]. . . . . . . . . . . . . . . . 22
2.14 Extraco de caractersticas: (a) pr-processamento (b) altura (c) histo-
grama vertical mximo (d) histograma horizontal mximo (e) centro ho-
rizontal (f) centro vertical (g) nmero local horizontal mximo (h) nmero
local vertical mximo (i) pontos de contorno (j) caractersticas de grelha
[OSK05]. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24
2.15 Estrutura da SVM construda [OSK05]. . . . . . . . . . . . . . . . . . . . . . 25
2.16 Resultados de aplicao do mtodo [OSK05]. . . . . . . . . . . . . . . . . . 25
2.17 Esquema do sistema de captao de dados. (c1) controlo digital do filtro,
(c2) controlo analgico do filtro (c3) controlo do shutter e tempo de exposi-
o (c4) sinal digital da imagem [dAeTdC04]. . . . . . . . . . . . . . . . . . 26
2.18 Mapeamento de dois conjuntos diferentes de comprimentos de onda nos
canais RGB [TKDO03]. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
2.19 Aplicao de diferentes algoritmos a imagens hiperespectrais (a) PCA, CLS
and MCR-ALS [JAMB08]. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28
xvii
xviii LISTA DE FIGURAS
2.20 Imagens pseudo-cor obtidas atravs do mapeamento directo dos scores nos
canais (R, G, B). (a) (P1, P2, P3) (b) (P2, P2, P3)[TKDO03]. . . . . . . . . . . 29
2.21 Classificao de uma imagem hiperspectral com a respectiva legenda de
cores [GBHD04]. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31
2.22 (a) A vermelho os pixels classificados como lapis lazuli (configurao VIS
+ UV). (b) A vermelho os pixels classificados como lead-tin yellow e lead
white. (c) Exemplo de espectros adquiridos com cada um dos instrumentos
[PDMDRP08]. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34
2.23 (Esquerda) Imagem da pintura Harlequin Musician. (Centro-Esquerda) Cubo
hiperespectral e clustering de pixels. (Centro-Direita) Espectro dos materi-
ais que constituem a base de dados. (Direita) Mapeamento dos materiais.
[DZT+ 10] . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
2.24 (A) Imagem de luminescncia infravermelhos. (B) Mapeamento dos espec-
tros de emisso primrios. (C) Imagem da pintura Harlequin Musician. (D)
Mapeamento dos espectros de referncia que so luminescentes no cubo
hiperespectral. Em baixo, os espectros obtidos utilizando Luminescence
Imaging Spectroscopy e Hyperspectral Camera [DZT+ 10]. . . . . . . . . . 36
3.1 Diagrama do sistema desenvolvido para anlise de obras de arte. . . . . . 40

3.2 Extraco dos pontos de interesse utilizando a SIFT. (a) Aplicadas ima-
gem original. (b) Aplicadas imagem aps aplicao da extraco do back-
ground. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
3.3 Exemplos de imagens binrias obtidas aps o processo de segmentao. . 42
3.4 Extraco dos background da imagem. (a) Resultado da extraco autom-
tica. (b) Resultado da extraco manual. . . . . . . . . . . . . . . . . . . . . 42
3.5 Extraco de caractersticas. (a) Pontos de interesse SIFT. (b) Aplicao dos
filtros de Gabor. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43
3.6 Esquema de construo do vocabulrio de "palavras" visuais [FFLT]. . . . 44
3.7 Diagrama de blocos do mtodo de agrupamento de assinaturas. . . . . . . 46
3.8 Diagrama de blocos do mtodo de classificao de assinaturas. . . . . . . . 48
3.9 Pontos de interesse extrados utilizando a tcnica SIFT numa pintura de
Amadeo. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49
3.10 Organizao da imagem hiperespectral. . . . . . . . . . . . . . . . . . . . . 51
3.11 Pr-Processamento das imagens hiperespectrais. (a) Imagem original. (b)
Imagem recortada. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51
3.12 Processo de construo da base de dados de referncia . . . . . . . . . . . 52
3.13 Exemplo de variabilidade de um material ao longo de uma mesma super-
fcie. A preto o espectro mdio calculado. . . . . . . . . . . . . . . . . . . . 52
3.14 Espectros com forma semelhante mas pertencentes a materiais diferentes
(a) Base de suporte de uma pintura (b) Pigmento cinzento. . . . . . . . . . 53
3.15 Paleta de tintas do pintor Amadeo de Souza-Cardoso. . . . . . . . . . . . . 58
LISTA DE FIGURAS xix
3.16 Fluxograma de deciso construdo para classificao. . . . . . . . . . . . . 59

3.17 Anlise pontual EDXRF efectuada na pintura Mucha . . . . . . . . . . . . 60
3.18 Segmentao atravs de intervalos de tolerncia de cor. (a) Ponto na pin-
tura onde foi efectuada a amostra. (b) A branco todos os pixels identifica-
dos como pertencentes amostra. . . . . . . . . . . . . . . . . . . . . . . . . 61
3.19 Exemplos de classificao. (a) Identificao do pigmento branco (A branco).
(b) Identificao do pigmento preto (A preto). (c) Identificao das zonas
sem anlise EDXRF (A roxo). (d) Identificao das zonas com pigmentos
puros. (e) Identificao das zonas com misturas de pigmentos (A preto). . 63
3.20 (a) Espectro original da imagem hiperespectral. (b) Espectro aps aplica-
o de filtro SavitzkyGolay de ordem binomial e com tamanho do filtro
9. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64
3.21 Exemplo de soma linear de dois espectros. (a) Espectro Red Vermillion.
(b) Espectro Yellow Ochre. (c) Espectro soma 60% Red Vermillion e 40%
Yellow Ochre. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67
3.22 Diagrama de blocos do mtodo de classificao combinada de pinturas
conjugando vrios tipos de informao. . . . . . . . . . . . . . . . . . . . . 68
4.1 Imagens presentes no cluster 1 . . . . . . . . . . . . . . . . . . . . . . . . . 72

4.2 Imagens presentes no cluster 2 . . . . . . . . . . . . . . . . . . . . . . . . . 73
4.3 Exemplos de imagens de entrada no classificador (a) Classe "Amadeo". (b)
Classe "Outros Artistas". . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75
Classe "Falsificaes". . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 76
Classe "No Amadeo". . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 77
4.6 Exemplos de imagens de entrada no classificador (a) Classe "Amadeo",
imagens cedidas pelo Centro de Arte Moderna. (b) Classe "No Amadeo",
imagens retiradas de http://www.guggenheim.org. . . . . . . . . . . . . . 78
4.7 Construo da base da base de dados a partir de amostras retiradas da
imagem hiperespectral e respectiva palete de cores atribuda a cada um
dos pigmentos. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 80
4.8 Resultado visual da classificao. (a) Todos os pigmentos mapeados. (b)
Apenas mapeado o pigmento 8. (c) Apenas mapeado o pigmento 3. . . . . 81
4.9 Amostragem das regies de interesse para validao do classificador . . . 82
4.10 Resultado visual da classificao. (a) Todos os clusters mapeados. (b) Ape-
nas mapeado o cluster 6. (c) Apenas mapeado o cluster 1. . . . . . . . . . . 84
4.11 Pontos da pintura onde foi efectuada a anlise FORS . . . . . . . . . . . . 85
4.12 Resultado visual da classificao. (a) Todos os pigmentos de referncia
mapeados. (b) Apenas mapeado o pigmento 5. (c) Apenas mapeado o
pigmento 2. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 85
xx LISTA DE FIGURAS
4.13 Amostragem das regies de interesse para validao do classificador . . . 86

4.14 (a) Imagem RGB da pintura Mucha. (b) Resultado geral da classificao
para teste. (c) Visualizao individual de uma mistura de Red Vermillion
e Yellow Cr, dois pigmentos puros . . . . . . . . . . . . . . . . . . . . . . . 87
4.15 (a) Imagem RGB da pintura Doutor. (b) Resultado geral da classificao
para teste. (c) Visualizao individual de uma mistura de Red Vermillion
e Yellow Ochre, dois pigmentos puros . . . . . . . . . . . . . . . . . . . . . 88
4.16 (a) Imagem RGB da pintura Geometrico. (b) Resultado geral da classifi-
cao para teste. (c) Visualizao individual de um pigmento puro, o Red
Vermillion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 88
Lista de Tabelas
3.1 Exemplo da metodologia de validao da classificao dos materiais puros. 65
4.1 Distribuio dos dados para atribuio de assinaturas. . . . . . . . . . . . 75

4.2 Resultados obtidos na classificao de atribuio de assinaturas. . . . . . . 75
4.3 Distribuio dos dados para autenticidade de assinaturas. . . . . . . . . . 76
4.4 Resultados obtidos na verificao de autenticidade de assinaturas. . . . . 77
4.5 Distribuio dos dados para atribuio e autenticidade de assinaturas. . . 78
4.6 Resultados obtidos na classificao de atribuio e autenticidade de assi-
naturas. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 78
4.7 Distribuio dos dados para atribuio e autenticidade de pinturas com
base nas caractersticas de pincelada. . . . . . . . . . . . . . . . . . . . . . . 79
4.8 Resultados obtidos na classificao de pinturas com base nas caractersti-
cas de pincelada. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 79
4.9 Resultados obtidos na classificao supervisionada com base de dados in-
terna de acordo com as reas definidas na figura 4.9. PC - Nmero de
pixels classificados correctamente. T - Nmero total de pixels. A - Accuracy
da classificao. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 83
4.10 Resultados obtidos na classificao com recurso a base de dados externa.
PC - Nmero de pixels classificados correctamente. T - Nmero total de
pixels. A - Accuracy da classificao. . . . . . . . . . . . . . . . . . . . . . . . 86
4.11 Resultados da classificao aplicada aos vrios casos de estudo. . . . . . . 89
4.12 Distribuio dos dados para atribuio de pinturas com base no classifica-
dor conjunto de pinturas. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 91
4.13 Resultados obtidos na classificao de atribuio pinturas com base no
classificador combinado utilizando a SIFT. . . . . . . . . . . . . . . . . . . . 92
4.14 Resultados obtidos na classificao de atribuio pinturas com base no
classificador combinado utilizando os filtros de Gabor. . . . . . . . . . . . 92
xxi
xxii LISTA DE TABELAS
4.15 Distribuio dos dados para atribuio e autenticao de pinturas com

base no classificador conjunto de pinturas. . . . . . . . . . . . . . . . . . . 93
4.16 Resultados obtidos na classificao de atribuio e autenticidade pinturas
com base no classificador combinado utilizando a SIFT. . . . . . . . . . . . 93
4.17 Resultados obtidos na classificao de atribuio e autenticidade pinturas
com base no classificador combinado utilizando os filtros de Gabor. . . . . 93
4.18 Resultados obtidos para os trs casos de estudo submetidos ao classifica-
dor combinado de pinturas. . . . . . . . . . . . . . . . . . . . . . . . . . . . 94
6.1 Elementos qumicos presentes em cada um dos materiais puros de Ama-

deo de Souza Cardoso. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 111
1
Introduo
A vida de cada pintor continua a ser uma incgnita para cada historiador de arte, ha-
vendo um grande interesse em descobrir alguns dos segredos mais bem guardados. As
ferramentas de processamento de imagem podem ser uma soluo para muitos dos pro-
blemas dos historiadores.
1.1 Motivao
Na primeira dcada do sculo XXI surgiram inmeras tcnicas de anlise e processa-
mento de imagem e tambm novas formas de analisar sinais complexos. O incremento
do poder computacional fez com que surgissem novas tcnicas, mais complexas e pre-
cisas, de analisar imagens digitais. Inmeras reas, desde a medicina histria de arte
viram neste facto uma oportunidade para aplicarem algum desse conhecimento nos seus
mtodos. Ao nvel da histria de arte, tcnicas como o reconhecimento automtico de
padres em imagens digitais, desenvolvidas nos ltimos anos, podem ser aplicadas a
imagens de obras de arte com o objectivo de validar a sua autenticidade e auxiliar na
sua conservao. O desenvolvimento tecnolgico tambm contribuiu para o surgimento
de cmaras hiperespectrais, capazes de captar dados como a luz reflectida num objecto
numa determinada gama de frequncias, podendo constituir uma importante fonte de in-
formao. Esta tecnologia tem sido utilizada ao longo dos anos para captao e posterior
anlise de imagens de terreno atravs de imagens de satlite. Contudo, comeam a sur-
gir aplicaes deste tipo de tcnicas na rea da histria de arte, nomeadamente ao nvel
da anlise de materiais utilizados na pintura. As imagens de satlite permitem identi-
ficar sobretudo zonas com determinados materiais ou com a presena de determinadas
espcies de rvores e minerais. No caso de uma imagem hiperespectral de uma pintura,
1
1. I NTRODUO 1.2. Descrio e Objectivos
a sua anlise pode permitir identificar os materiais utilizados pelo pintor. Assim, tanto
o reconhecimento de padres em imagens digitais como a anlise de materiais podero
fornecer informaes importantes acerca de um pintor e da poca em que este viveu.
O processo de anlise de obras de arte poder obter benefcios com a incluso de algu-
mas tcnicas de processamento de imagem como auxlio aos historiadores no processo de
anlise. Processos como a anlise de autenticao de uma pintura, anlise de atribuio
de autor de uma pintura, anlise dos materiais utilizados na mesma, anlise de zonas da
pintura com materiais semelhantes podem ser agilizados, recorrendo deste modo a um
conjunto de ferramentas construdas para o efeito.
1.2 Descrio e Objectivos

Esta dissertao enquadra-se no mbito do projecto Histria, Materiais e Tcnicas de
pintores portugueses, 1850-1918: Romantismo, Naturalismo e Modernismo, actualmente
em execuo na Universidade Nova de Lisboa, Faculdade de Cincias e Tecnologia. Este
um projecto multidisciplinar pois envolve uma colaborao entre o Departamento de
Informtica, o Departamento de Conservao e Restauro, vrios historiadores, o Mu-
seu Nacional de Arte Contempornea-Museu do Chiado, o Centro de Arte Moderna-
Fundao Calouste Gulbenkian, a Casa Museu Anastcio Gonalves e a Polcia Judici-
ria, tendo tambm o apoio da Fundao para a Cincia e Tecnologia. O projecto centra-se
na anlise e identificao de pinturas de Amadeo de Souza-Cardoso, pintor modernista
portugus (1887-1918). O objectivo da dissertao construir um sistema para classifi-
cao de pinturas em termos de autenticidade e atribuio de autor com base nas ima-
gens digitais das pinturas, nas imagens digitais das assinaturas presentes nas pinturas
e nas imagens hiperespectrais. Contudo ao longo do desenvolvimento foram surgindo
objectivos secundrios de acordo com as necessidades dos historiadores. Os principais
objectivos da dissertao so:
1. Verificao da autenticidade e atribuio de autor de pinturas baseada nas caracte-

rsticas das assinaturas dos pintores presentes nas obras de arte.
2. Identificao de perodos na vida artstica do pintor de acordo com as caractersticas

visuais das assinaturas.
3. Reconstruo do classificador de autenticidade e atribuio de pinturas baseado em

caractersticas de pincelada, anteriormente implementado no projecto.
4. Anlise dos materiais utilizados nas pinturas atravs do estudo de imagens hipe-
respectrais captadas em vrias pinturas do pintor em anlise. Esta anlise permitir
tambm efectuar a verificao de autenticidade e atribuio de pinturas.
5. Classificao de pinturas baseada em diversos tipos de informao, combinando

a classificao de pinturas baseada na anlise de pincelada, com a classificao de
pinturas baseada nas caractersticas das assinaturas e com a anlise dos materiais.
2
1. I NTRODUO 1.3. Soluo Apresentada
Face existncia de um conjunto de assinaturas autnticas e assinaturas falsificadas

do pintor em anlise, surgiu a necessidade de desenvolver uma tcnica para verificao
de pinturas em termos de autenticidade e atribuio de autor que pudesse ser integrada
com a anlise da textura j implementada de modo a construir um classificador mais
robusto. Alm disso, os historiadores envolvidos no projecto tinham ainda o interesse
de identificar perodos de assinaturas de forma automtica, podendo efectuar um estudo
mais aprofundado sobre determinados perodos da vida artstica po pintor.
O classificador de pinturas baseado em caractersticas de pincelada j havia sido im-
plementado anteriormente no projecto, todavia de modo a atingir o objectivo principal
desta dissertao foi necessrio reconstru-lo e adapt-lo de modo a ser integrado com
outros tipos de informao. Os resultados obtidos com este classificador podem ser con-
sultados no trabalho descrito em [MJC+ 12].
A anlise de imagens hiperespectrais permite uma anlise mais aprofundada de uma
pintura recorrendo a vrios tipos de informao. Atravs da luz reflectida por cada
um dos pigmentos utilizados pelo pintor, possvel identificar regies pintadas com o
mesmo material numa pintura. Normalmente este processo era efectuado de forma pon-
tual, havendo assim um desaproveitamento da restante informao contida na imagem
hiperespectral. Esta componente da dissertao surge deste modo com o objectivo de
construir um mtodo de anlise mais automtico, assim como um mtodo de classifica-
o de autenticidade e atribuio de pinturas baseado na anlise dos materiais.
A construo de um classificador combinado de pinturas que possa ser utilizado pelos
museus para validao de autenticidade e atribuio do autor de pinturas consiste num
dos objectivos principais da dissertao, assim como se trata tambm do objectivo final
do projecto em que a dissertao se insere. Cada um dos objectivos anteriores contribui
directamente para a realizao deste objectivo, tendo surgido vrios objectivos secund-
rios ao longo do desenvolvimento da dissertao.
1.3 Soluo Apresentada

No mbito da dissertao foram desenvolvidas um conjunto de tcnicas com vista a au-
xiliar os historiadores e conservadores no processo de anlise de obras de arte. Essas
tcnicas foram desenvolvidas de forma isolada, contudo o seu conjunto constitui um sis-
tema para anlise de obras de arte com vrios mdulos. No futuro, espera-se ser possvel
desenvolver um sistema de verificao de pinturas em termos de autenticidade e atri-
buio de autor que possa ser utilizado por cada um dos museus nas suas coleces e
tambm pela polcia judiciria em pinturas apreendidas. O desenvolvimento dividiu-se
em quatro fases, cada uma delas com um mbito distinto, mas com o objectivo comum
de ajudarem o historiador de arte no processo de anlise de um determinado pintor.
A primeira fase englobou a anlise das assinaturas em duas vertentes, verificao
de autenticidade e atribuio de autor obra e numa segunda vertente o agrupamento
de assinaturas com caractersticas visuais semelhantes. O pintor em anlise, Amadeo
3
1. I NTRODUO 1.4. Principais Contribuies
de Souza-Cardoso, utilizou um conjunto de assinaturas para autenticar as suas obras. O

primeiro objectivo foi a construo de um classificador que permitisse distinguir entre as-
sinaturas autnticas do pintor e assinaturas falsificadas ou pertencentes a outros pintores.
Outro dos objectivos foi a construo de um algoritmo de agrupamento de assinaturas
visualmente semelhantes, de modo a identificar possveis perodos na vida artstica do
pintor.
Numa segunda fase efectuou-se a reconstruo do classificador de autenticidade e
atribuio de pinturas baseado nas caractersticas da pincelada. Como j foi afirmado,
este j tinha sido construdo anteriormente no mbito do projecto mas havia a necessi-
dade de o adaptar aos objectivos pretendidos.
A terceira fase foi direccionada para a anlise das imagens hiperespectrais. Tal como
foi relatado anteriormente, havia a necessidade de tornar a anlise de uma imagem hi-
perespectral um processo mais automtico. Tendo como base as imagens hiperespectrais
captadas em quadros do pintor em anlise, procedeu-se ao desenvolvimento de um con-
junto de tcnicas para auxiliar os historiadores no processo de identificao de zonas da
pintura pintadas com o mesmo material. A identificao de zonas com materiais seme-
lhantes ao longo de uma ou vrias pinturas foi a principal prioridade, contudo era desejo
dos historiadores poder perceber se existiam zonas da pintura que no tinham sido feitas
pela mo do artista ou se constituam misturas de pigmentos puros.
Por fim, a ltima fase consistiu no desenvolvimento de um sistema integrado de clas-
sificao de pinturas baseado em vrias evidncias, quer seja atravs das caractersticas
de pincelada presentes na pintura, atravs das caractersticas das assinaturas ou da an-
lise dos materiais utilizados pelo artista. Este sistema um dos principais desafios que se
pretende resolver com o desenvolvimento da dissertao, englobando assim a verificao
de autenticidade e a atribuio de autor de pinturas.
1.4 Principais Contribuies

Este trabalho no se restringiu ao desenvolvimento de uma aplicao ou plataforma mas
sim ao desenvolvimento de um conjunto de tcnicas que podem ser aplicadas a vrios
contedos e adaptadas de acordo com o caso de estudo que se pretende analisar. As
principais contribuies da dissertao so:
1. Um sistema para verificao de autenticidade e atribuio de autor de pinturas

baseado nas caractersticas das assinaturas de pintores. Este engloba o desenvol-
vimento de um algoritmo de classificao de imagens baseado em reconhecimento
de padres, cujo resultado permite afirmar com um determinado grau de certeza se
uma assinatura foi feita pela mo do pintor ou pertence a um outro pintor, podendo
tambm ser uma falsificao.
2. Uma ferramenta para agrupamento de assinaturas de acordo com caractersticas

visuais semelhantes.
4
1. I NTRODUO 1.5. Estrutura do Documento
3. Reconstruo do classificador de pinturas com base nas caractersticas de pincelada

de modo a ser integrado no classificador combinado de pinturas.
4. Um mtodo para agrupamento de pixels semelhantes numa imagem hiperespectral

atravs de semelhanas entre os espectros. Este mtodo pretende auxiliar o histo-
riador na identificao visual de zonas da pintura com pigmentos semelhantes. A
partir da identificao de zonas semelhantes ser tambm possvel encontrar zonas
da pintura que no tenham sido feitas pelo pintor em estudo ou zonas com misturas
de pigmentos.
5. Um sistema para validao de autenticidade e atribuio de autor de pinturas ba-

seado em caractersticas da pincelada do artista, em caractersticas das assinaturas
do artista e com base na anlise dos materiais presentes numa pintura. Assim, cada
pintura classificada com um maior grau de certeza devido utilizao de vrios
tipos de evidncias.
1.5 Estrutura do Documento

A estrutura do documento a seguinte:
1. Introduo: Neste captulo apresenta-se uma viso geral da dissertao, realando

a motivao, o contexto em que se insere, a soluo proposta e as principais contri-
buies previstas.
2. Trabalho Relacionado: Apresenta uma viso geral e resumida de alguns trabalhos

j realizados e que se relacionam com a soluo apresentada.
3. Anlise de Obras de Arte: Este captulo relata o desenvolvimento das tcnicas de

reconhecimento de padres relatadas anteriormente de acordo com o conjunto de
objectivos definidos.
4. Resultados: Este captulo descreve a forma como as diferentes tcnicas foram avali-
adas e os respectivos resultados da avaliao de cada uma delas de modo a mostrar
a sua robustez e eficcia.
5. Concluses e Trabalho Futuro: Por fim, apresentam-se as concluses resultantes de

todo o trabalho desenvolvido e um conjunto de indicaes para o trabalho futuro
no seguimento do respectivo desenvolvimento.
5
1. I NTRODUO 1.5. Estrutura do Documento
6
2
Trabalho Relacionado
Este captulo descreve alguns trabalhos de investigao que se relacionam directamente

com o mbito da dissertao, sendo apenas focados os pormenores mais relevantes.
2.1 Introduo
Este captulo apresenta trabalhos realizados na anlise de obras de arte que utilizam tc-
nicas de reconhecimento de padres. O desenvolvimento da dissertao incidiu numa
primeira fase sobre reconhecimento de padres em imagens digitais, processo que efec-
tuado em duas fases principais. Primeiro feita a extraco de informao a partir da
imagem digital RGB. Essa informao pode ser baseada na cor ou na textura da imagem.
A seco "Extraco de Caractersticas" descreve algumas das tcnicas computacionais
que permitem tanto a extraco de caractersticas em imagens como a organizao das
mesmas para futura classificao baseada em padres semelhantes. Em segundo lugar,
surge a classificao com vista ao reconhecimento de padres semelhantes ao longo das
imagens. Assim, a cada imagem de entrada do algoritmo atribuda uma etiqueta de
acordo com a construo do classificador. A seco "Anlise Computacional de Obras
de Arte" descreve alguns dos mtodos de classificao existentes aplicados na rea da
anlise de obras de arte. A seco "Anlise de Assinaturas Digitais" foca algumas das ca-
ractersticas especficas extradas para a anlise de assinaturas incidindo principalmente
nos mtodos de classificao de assinaturas.
Alm da anlise de imagens digitais RGB, o desenvolvimento da dissertao incidiu
tambm sobre a anlise de imagens hiperespectrais. A quarta seco designada "Aquisi-
o e Anlise de Imagens Hiperespectrais" aborda a anlise de imagens hipersespectrais,
descrevendo como estas so adquiridas. A seco "Anlise de Imagens Hiperespectrais
7
2. T RABALHO R ELACIONADO 2.2. Extraco de Caractersticas
em Obras de Arte" apresenta alguns dos trabalhos de investigao que efectuaram an-
lise de materiais em obras de arte a partir de imagens hiperespectrais, tentando utilizar
vrios tipos de informao.
Por fim, a ltima seco apresenta uma discusso sobre os trabalhos analisados, fa-
zendo a respectiva ligao com os problemas que se pretendem resolver com o desenvol-
vimento da dissertao.
2.2 Extraco de Caractersticas

Esta seco apresenta de forma resumida algumas das tcnicas para extraco e organi-
zao de caractersticas de textura em imagens digitais.
2.2.1 SIFT Scale Invariant Feature Transform
Este mtodo foi proposto por David Lowe1 [Low04], sendo um dos mais utilizados ac-
tualmente por vrios sistemas de reconhecimento de objectos a partir de um conjunto
de caractersticas (features). O mtodo detecta um conjunto de pontos de interesse numa
imagem, sendo esses pontos de interesse organizados em vectores de caractersticas.
As localizaes dos pontos de interesse candidatos so obtidas como mximos e m-
nimos do resultado de aplicao de funes Gaussian em vrias escalas. Aps obtidas as
localizaes, aplicado um modelo a cada ponto de interesse de modo a seleccionar os
pontos de interesse de acordo com a sua estabilidade, por exemplo, pontos com pouco
contraste devem ser rejeitados (so mais sensveis ao rudo). Baseado nos gradientes lo-
cais atribui-se uma ou mais orientaes a cada ponto de interesse (ver figura 2.1). Estes
pontos de interesse so representados sob a forma de um descritor e agrupados no con-
junto de descritores de uma imagem.
Figura 2.1: SIFT Keypoints [Low04].
O pargrafo anterior apresenta um resumo do mtodo, contudo a identificao dos

pontos de interesse um processo que envolve vrias tcnicas sendo interessante reter
principalmente as suas capacidades. Cada um dos pontos de interesse identificados pelo
1
http://www.cs.ubc.ca/ lowe/keypoints/
8
mtodo invariante translao da imagem, mudana de escala, rotao, parcial-

mente invariante s mudanas de iluminao e invariante distoro geomtrica local.
As caractersticas so distintivas sendo que uma nica caracterstica pode ser identificada
eficazmente numa base de dados com uma elevada quantidade de caractersticas.
Alm das vantagens enunciadas, existe tambm a vantagem de ser possvel efectuar
uma comparao (matching) eficaz entre os descritores, permitindo a identificao e reco-
nhecimento de objectos. Alm de propor uma tcnica para extraco de caractersticas,
David Lowe props tambm um mtodo para matching de caractersticas baseado no m-
todo Best-Bin-First (BBF) [BL97] . Em resumo, o matching s ser considerado se o ponto
de interesse com a menor distncia for maior do que uma percentagem da distncia do
segundo ponto de interesse mais prximo. Assim, garante-se que o matching s ocorre
quando no h dois pontos de interesse muito parecidos com o ponto de interesse em
teste, o que elimina falsos matches.
2.2.2 Gabor Filter

Este mtodo foi proposto em 1946 por Dennis Gabor [Gab46] quando este props a repre-
sentao de sinais complexos como a combinao de funes elementares. Em geral, este
mtodo traduz-se num filtro linear utilizado para deteco de padres. As funes ele-
mentares de Gabor, principalmente as representaes de frequncia e orientao, so se-
melhantes s funes do sistema visual humano, sendo particularmente adequadas para
representao e discriminao de textura. As caractersticas extradas de imagens utili-
zando o Gabor Filter tm sido utilizadas para segmentao de textura, reconhecimento
de escrita ou de impresses digitais [SBF07].
Figura 2.2: Visualizao de caractersticas extradas utilizando o Gabor Filter [PD05] (a)
imagem digital, (b) Aplicao de um filtro de Gabor.
Mais especificamente, o Gabor Filter definido como o produto de um kernel gaussi-

ano com uma sinuside. Esta tcnica de extraco de caractersticas consiste na aplicao
de um banco de filtros com vrias escalas e orientaes a uma imagem. Estes filtros pro-
curam detectar na imagem diversos padres. Estes padres, podem ser, por exemplo,
curvas capturadas atravs da textura da imagem (ver figura 2.2). Por vezes os filtros de
Gabor confundem-se com as Gabor Wavelets, na medida em que as funes de Gabor,
9
normalizadas de certa forma, podem ser usadas como uma wavelet "me" para gerar
uma famlia de Gabor Wavelets no ortogonais. Estas surgiram pelo facto de alguns neu-
rologistas sugerirem que a estrutura espacial das clulas receptivas do crtex visual com
diferentes tamanhos so virtualmente invariantes. Assim, Tai Sing Lee [Lee96] props
que estas clulas eram melhor modeladas como uma famlia de Gabor Wavelets 2D amos-
trando no domnio da frequncia na forma log-polar. Os autores de [FRDF01] utilizam
como representao para as Gabor Wavelets um banco de filtros de Gabor normalizados
para se obter respostas iguais a 0 e desenhados para diminuir a redundncia na repre-
sentao.
Ao longo dos anos este mtodo tem sido muito utilizado para extraco de caracters-
ticas, sendo um dos principais mtodos utilizados na anlise de obras de arte. A utiliza-
o do banco de filtros de Gabor e das Gabor Wavelets pretende capturar as orientaes
principais da pincelada, identificando assim a pincelada caracterstica de cada pintor. O
trabalho apresentado em [BPvdH09] utiliza um banco de filtros de Gabor circular com
o intuito de captar a orientao dominante da pincelada. A extraco de caractersticas
neste caso traduz-se nos contornos captados, sendo depois estes processados de modo
a encontrar a pincelada dominante. Outro dos casos onde surgem os filtros de Gabor
no trabalho apresentado em [She09]. Neste trabalho so extrados vrios conjuntos de
caractersticas, incluindo caractersticas de textura que so obtidas atravs da aplicao
de um filtro de Gabor. Num dos principais trabalhos realizados sobre a obra de Van
Gogh, a extraco de caractersticas foi efectuada utilizando Gabor Wavelets de modo a
captar as pinceladas mais hesitantes, sugerindo que este tipo de caractersticas poderia
ser representativo de falsificaes. Alm da utilizao de Gabor Wavelets, foram tambm
utilizadas Complex Wavelets, uma aproximao mais simplificada das Gabor Wavelets,
de modo a captar as diversas escalas onde determinados pormenores da pintura se des-
tacam [JHB+ 08].
2.2.3 Bag-of-Features
A tcnica Bag-of-Features surgiu a partir do mtodo Bag-of-Words utilizado no processa-

mento de documentos [BYRN99]. O mtodo Bag-of-Words caracteriza-se pelo processa-
mento de um documento e a construo de histogramas de ocorrncias de cada uma das
palavras diferentes existentes no documento. Alguns investigadores [NJT06], na rea da
computao multimdia, verificaram que este conceito poderia ser aplicado a imagens,
sendo estas tratadas de forma anloga a documentos e as caractersticas extradas efectu-
ando a analogia com as palavras do documento.
Este mtodo principalmente utilizado para organizao de caractersticas extradas
de imagens digitais com vista a futura classificao. Ao longo dos anos este mtodo tem-
se tornado cada vez mais popular na classificao de imagens de acordo com o contedo
de cada uma delas, tendo obtido resultados positivos em trabalhos anteriores [NJT06]. O
mtodo divide-se em quatro fases: (1) extraco de caractersticas das imagens, atravs
10
2. T RABALHO R ELACIONADO 2.3. Anlise Computacional de Obras de Arte
da utilizao, por exemplo, da tcnica SIFT; (2) aprendizagem do "vocabulrio visual",

isto , construo do dicionrio de palavras visuais possveis; (3) quantificao das ca-
ractersticas utilizando o vocabulrio de palavras construdo, ou seja, atribuir um grau
de importncia a cada uma das palavras do vocabulrio; (4) por fim, cada imagem re-
presentada por um histograma de ocorrncias de "palavras visuais", o que se traduz na
frequncia com que cada palavra ocorre nessa determinada imagem (ver figura 2.3). Face
s fases do mtodo descritas, possvel afirmar que este permite construir um descritor
global para uma imagem a partir de um conjunto de descritores locais, como o caso do
conjunto de caractersticas extradas utilizando a tcnica SIFT.
Figura 2.3: Exemplo de construo do histograma que representa uma imagem [FFLT].
2.3 Anlise Computacional de Obras de Arte

Esta seco descreve alguns trabalhos de investigao em que a anlise de obras de arte
foi efectuada recorrendo a tcnicas computacionais, abordando sobretudo metodologias
para reconhecimento de padres.
2.3.1 Tcnica de Extraco da Orientao Dominante
Quando os peritos analisam obras de arte, as caractersticas espaciais so um dos prin-

cipais focos de ateno na anlise, isto porque o padro da pincelada como a impres-
so digital do artista. A orientao, a forma e a distribuio das pinceladas so pistas
muito importantes para anlise e nas quais esta tcnica baseada. Assim, a tcnica POET
[BPvdH09] baseada na aplicao de um banco de filtros circular para deteco de con-
tornos paralelos e numa fase de extraco dedicada apenas orientao da pincelada.
Esta tcnica foi inspirada na observao e anlise do desempenho humano na tarefa de
anlise de obras de arte, complementando essa anlise com o poder computacional que
os humanos no tm. Assim, esta tcnica divide-se numa fase de filtragem e uma fase de
extraco da orientao, ambas aplicadas a fragmentos de uma imagem.
A fase de filtragem (ver figura 2.4) caracteriza-se pela aplicao de um filtro circular
a um fragmento, construdo de modo a satisfazer dois critrios: (1) invarincia orienta-
o, ou seja, o filtro deve captar todos os contornos orientados em todas as direces; (2)
captao de contornos dentro de uma determinada gama de frequncias espaciais.
11
A fase de extraco da orientao (ver figura 2.4) transforma o fragmento resultante

da filtragem num conjunto de objectos binrios orientados que correspondem s pince-
ladas mais brilhantes. Para se obter uma imagem binria, aplica-se um simples mtodo
de threshold multi-nvel, onde todos os valores obtidos da filtragem so mapeados num
intervalo entre 0 e 1. O objectivo neste patamar maximizar o nmero de objectos orien-
tados numa imagem binria. Define-se assim como objecto orientado um grupo de pelo
menos oito pixels diferentes de 0 e em que a elipse envolvente tem o maior comprimento
de eixo que excede 70% o comprimento do seu menor eixo. Depois de seleccionado o
valor do threshold que maximiza o nmero de objectos orientados, ordenaram-se esses
mesmos objectos de acordo com o maior comprimento de eixo da elipse envolvente. O
objecto com o maior valor de excentricidade da elipse envolvente escolhido como ori-
entao predominante do respectivo fragmento.
Figura 2.4: Fase de filtragem (a, b). Fase de extraco da orientao (c, d, e) [BPvdH09].
Esta tcnica foi validada atravs de duas abordagens: comparao com os resulta-
dos obtidos por humanos e comparao com outras tcnicas existentes no estado da arte.
Atravs da comparao cruzada entre a POET e os vrios peritos, concluiu-se que os
resultados obtidos computacionalmente esto de acordo com a maioria dos resultados
apresentados pelos peritos. Esta tcnica foi tambm comparada com outras duas tcni-
cas: os filtros adaptveis de escala nica (single-scale steerable filters [FA91], SF, designao
inglesa) e a anlise dos componentes principais multi-escala (multi-scale principal compo-
nents analysis [FM02], MS-PCA). Os resultados obtidos com a POET foram significativa-
mente melhores do que os resultados obtidos com as restantes tcnicas, concluindo-se
assim uma tcnica atractiva e eficaz para estimar a orientao predominante da pince-
lada em imagens digitais.
2.3.2 Classificao de Pinturas utilizando Caractersticas Locais e Globais
O processo de classificao de imagens tem, em geral, duas fases: extraco de caracte-

rsticas e classificao em classes. As caractersticas de uma imagem podem ser locais ou
globais, diferindo em vrios aspectos. No trabalho apresentado em [She09] so testadas
vrias configuraes de caractersticas de modo a identificar qual o tipo de caractersticas
que permite um melhor desempenho.
12
2.3.2.1 Extraco de Caractersticas Locais e Globais
As caractersticas extradas podem ser locais ou globais. No trabalho descrito em [She09],

entre as caractersticas globais extradas destacam-se: (1) Histogramas de Cor, (2) Textura
(filtros de Gabor), (3) Forma (histograma normalizado com as direces dos contornos
para cada imagem) e (4) Momentos de cor. As caractersticas locais aplicam-se a frag-
mentos de uma imagem tratados de forma individual. Uma imagem fragmentada em
16 blocos e para cada um desses blocos constroem-se vectores de caractersticas baseados
no clculo das 2D Gabor Wavelets.
2.3.2.2 Classificao de Pinturas
Para classificar as pinturas em [She09], foi construda uma infraestrutura com duas gran-
des camadas: uma contendo os classificadores de caractersticas locais e globais, sendo
estes baseados numa rede neuronal com uma funo de base radial (radial basis function,
RBF) e outra camada contendo uma fuso de esquemas de classificao de pontuao
(score) baseados em regresso linear.
O classificador (ver figura 2.5) baseado na rede neuronal RBF foi criado, contendo trs
camadas: a camada de entrada de dados, a camada oculta e a camada de sada de dados.
As caractersticas individuais so extradas e o classificador construdo com base em
cada caracterstica. Para cada vector de caractersticas que entra na rede neuronal, uma
pontuao calculada.
Figura 2.5: Arquitectura da infraestrutura construda [She09].
Na camada de classificao de pontuao, entram as pontuaes calculadas na ca-

mada anterior, sendo este um processo incremental. De modo a melhorar a eficincia
do modelo de classificao, foi construdo um esquema cuja designao Binary Output
Codes with Penalty. Nesta camada, os dados passam por duas fases: a fase de treino
onde construda a palavra cdigo nica de cada pintor; e a fase de teste onde calcu-
lada a distncia de Hamming entre cada vector de sada da rede neuronal (obtido atravs
dos vectores de caractersticas de entrada) e a palavra de cdigo para cada pintor. Com
13
este esquema obtm-se uma medida de verosimilhana entre a palavra de cdigo que
representa cada artista e um vector de caractersticas.
Diferentes conjuntos de caractersticas tm diferentes graus de importncia no clculo
da pontuao de uma determinada imagem. O esquema de fuso das pontuaes di-
vidido em duas camadas: uma camada de propagao das redes, combinando os dados
de sada de cada um dos classificadores; e uma camada com uma funo de propagao
(neste caso utilizou-se regresso linear) para combinar as pontuaes mais relevantes ob-
tidas na camada anterior e produzir a etiqueta final de uma pintura, indicando o artista
que a pintou.
2.3.2.3 Validao da Tcnica
Este trabalho foi validado atravs da comparao do seu desempenho com o desempe-
nho de outras tcnicas. Resultados dessas comparaes relatados em [She09] mostram
que a taxa de acerto para a tcnica construda foi de 69.7%, corroborando assim a efici-
ncia da tcnica face s taxas de acerto obtidas com outras tcnicas j implementadas e
que revelaram percentagens obtidas inferiores a 55%. Outro dos aspectos importantes na
validao da tcnica foi identificar quais os tipos de caractersticas que conduziam a um
melhor desempenho do sistema, verificando-se que uma combinao das caractersticas
globais com as caractersticas locais (taxa de acerto obtida de 69.7%) era a melhor con-
figurao do sistema invs de uma configurao com apenas um tipo de caractersticas
(taxas de acerto de 60.3% e 58.7% para a configurao apenas com caractersticas locais
ou globais, respectivamente).
2.3.3 Autenticidade de Pinturas Baseada na Utilizao de Wavelets
A anlise de autenticao de obras de arte feita atravs da combinao de inmeras

tcnicas, sendo uma delas a anlise da presena da "assinatura" do artista, ou seja, a pin-
celada que o caracteriza exclusivamente. Isto sugeriu que a anlise de imagens digitais
de pinturas poderia ajudar os peritos em arte no processo de autenticao.
Para construir um modelo computacional suficientemente robusto de modo a classi-
ficar as pinturas quanto sua autenticidade, primeiro necessrio perceber que critrios
so tidos em conta na anlise da pincelada efectuada por peritos em arte. Essa anlise
segue geralmente um conjunto de passos, tendo em conta os vrios factores que afectam
a qualidade da pincelada, sendo esses passos descritos em [JHB+ 08].
Em primeiro lugar, deve estabelecer-se que partes de uma pintura devem ser elimi-
nadas da anlise, ou seja, que no foram feitas pela mo do artista, como por exemplo a
deteriorao da cor ou o surgimento de rachas na pintura. No passo seguinte, descreve-
se a pincelada original observada ao longo do quadro, isto , procura-se o uso recorrente
de determinados padres de pincelada, envolvendo pinceladas rpidas e efectuadas de
forma rtmica dispostas numa orientao em particular.
Por vezes, os analistas tentam tambm identificar o tamanho especfico e a forma dos
14
pincis utilizados em cada pintura atravs das marcas que estes deixaram na mesma.
A fluidez da tinta tambm um dos passos tidos em conta na anlise pois de facto
importante analisar o impacto visual dos materiais de pintura utilizados.
Na sequncia dos passos anteriores, tambm realizada a anlise da qualidade do
leo e das tintas utilizadas na pintura de modo a identificar por exemplo de onde so
provenientes os materiais ou onde foram fabricados. Por fim, o ltimo passo a ter em
conta na anlise a anlise da superfcie onde a pintura se encontra, mais propriamente
a tela em si. Isto porque por vezes as pinceladas so efectuadas sobre uma tela seca,
outras sobre um tela humedecida ou at sobre figuras j pintadas na mesma tela.
Em [JHB+ 08] descrito o trabalho de trs grupos de investigadores com vista veri-
ficao de autenticidade de obras de arte tendo em conta o conjunto de indicaes apre-
sentado anteriormente. Ambos os grupos desenvolveram tcnicas utilizando o mesmo
conjunto de dados, 101 imagens de pinturas de Van Gogh e possveis falsificaes. Cada
grupo incidiu a sua investigao num tipo de wavelets diferente (ver figura 2.6).
Figura 2.6: Wavelet Templates utilizados por cada grupo de investigao [JHB+ 08].
2.3.3.1 Anlise da Modelao Geomtrica da Pincelada
Inicialmente, este grupo de investigadores oriundos de Penn State extraiu do conjunto de

dados 23 pinturas que eram, sem qualquer dvida, pertencentes a Van Gogh e que repre-
sentavam diferentes perodos na sua vida artstica, sendo estas utilizadas como conjunto
de treino [JHB+ 08].
Cada pintura foi dividida em patches de aproximadamente 512 x 512 pixels e dois tipos
de caractersticas foram extradas. O primeiro tipo era baseado na textura, sendo extra-
das da transformada de wavelet ortonormal D-4 (ver figura 2.6, (a)). Os coeficientes extra-
dos reflectem as diferentes orientaes e variaes bruscas na imagem, restringindo-se a
sua utilizao apenas aos coeficientes com a escala mais pequena. O segundo tipo de
caractersticas inclua as caractersticas geomtricas da pincelada, sendo estas caracte-
rsticas de mais alto-nvel e mais perceptveis pelo olho humano do que a textura (ver
figura 2.7). Entre as caractersticas geomtricas calculadas destacam-se o comprimento, a
orientao e a curvatura mdia de cada contorno da pincelada.
Para comparar as caractersticas extradas, construram-se modelos estatsticos para
15
ambos os tipos de caractersticas. No caso das caractersticas baseadas na textura, construiu-

se um modelo espacial, mais especificamente, uma variao do 2-D HMM (Hidden Mar-
kov Model)[CRB00], isto porque neste caso a relao espacial entre as caractersticas era
um factor importante. No caso das caractersticas baseadas na geometria da pincelada,
construram-se modelos independentes e identicamente distribudos, sendo que a relao
espacial das caractersticas era menos importante. Este modelo era baseado numa distri-
buio discreta pois o nmero de linhas de contorno da pincelada varia abruptamente ao
longo dos vrios patches.
Figura 2.7: Extraco das caractersticas geomtricas da pincelada [JHB+ 08].
Depois de removidas as 23 pinturas para o conjunto de treino, foi calculada a distncia

entre as restantes imagens (78) e o conjunto de treino. Posteriormente, as 78 imagens
foram ordenadas de acordo com as distncias calculadas. Por exemplo, tendo apenas em
conta a modelao das caractersticas da textura, nas cinco imagens mais semelhantes do
conjunto de treino, quatro pertencem a Van Gogh enquanto uma pertence a Gauguin.
Quanto s menos semelhantes ao conjunto de treino, trs delas no pertencem mesmo
a Van Gogh enquanto duas so sem dvida autnticas de Van Gogh. Isto acontece pois
o conjunto de treino que serve de base de conhecimento ao processo de aprendizagem
pode no ser suficientemente representativo para cobrir todos os estilos de pincelada de
Van Gogh.
2.3.3.2 Anlise da Pincelada em Diferentes Escalas
Este grupo (oriundo de Princeton) decidiu utilizar apenas 76 imagens do total disponibi-
lizadas, sendo 65 de Van Gogh, seis de outros artistas e cinco atribudas a Van Gogh, mas
que no foram definitivamente confirmadas [JHB+ 08].
Extraco das Caractersticas Tambm neste caso as imagens foram divididas em pat-
ches de 512 x 512 pixels. Para cada patch, os coeficientes de wavelet (ver figura 2.6, (b))
so modulados por uma Hidden Markov Tree (HMT). Neste modelo, cada coeficiente
associado a um estado oculto, tendo um de dois valores, contorno ou no contorno, in-
dicando se o coeficiente do wavelet template se sobrepe a um contorno na imagem. Isto
permitiu definir uma matriz de transies entre os estados ocultos, obtendo-se depois um
16
conjunto de vectores designados por vectores m-similaridade sobre os quais ser poss-
vel calcular a semelhana entre duas imagens. As 108 caractersticas extradas segundo
o modelo anterior foram ordenadas e numeradas de acordo com a sua eficcia em dis-
tinguir patches provenientes das obras de Van Gogh e no Van Gogh. Verificou-se que
as caractersticas que dominavam a ordenao permitiam identificar as escalas a que a
informao detalhada se reala. Estas escalas caractersticas acabam por ser diferentes
para diferentes orientaes, parecendo ser uma caracterstica do estilo de Van Gogh.
Classificao das Pinturas Para efectuar a classificao de pinturas em [JHB+ 08], um

algoritmo de escala multidimensional foi construdo para dispor os 76 pontos (um ponto
por imagem) num espao 3-D, de modo a mostrar as similaridades entre as 76 imagens.
Nesta representao o centro Cvg do cluster de imagens pertencentes a Van Gogh foi deter-
minado. A separao das imagens feita usando um classificador: para um determinado
raio r, os pontos mais perto de Cvg do que r representavam pinturas de Van Gogh, en-
quanto que as mais distantes de r so classificadas como no sendo de Van Gogh. Para
teste do classificador efectuou-se uma validao cruzada leave-one-out, ou seja, cada ima-
gem classificada de acordo com o Cvg e o r das restantes 75 imagens do conjunto.
Identificar Pinturas Falsificadas O algoritmo anterior permitiu classificar as pinturas

referentes a van Gogh ou no referentes, mas em termos de pinturas falsificadas no foi
possvel obter uma separao evidente, pois tratam-se de quadros semelhantes mas no
autnticos. De modo a efectuar esta classificao, procedeu-se a uma anlise mais deta-
lhada, utilizando-se patches de 128 x 128 pixels. O objectivo era assim captar zonas onde
existiam pinceladas hesitantes, causadas por uma reduo na fluidez da tinta aquando da
cpia de uma pintura para outra. Observou-se ento que as pinturas falsificadas tinham
coeficientes de wavelet com valores muito altos, o que sugeria um excesso de coeficien-
tes com valores muito elevados nas escalas mais finas que o algoritmo utilizava. Assim
calculou-se a mediana dos coeficientes de wavelet nas duas melhores escalas e isso per-
mitiu separar as pinturas falsificadas das verdadeiras, pois as que no so autnticas
possuam um excesso de caractersticas de tamanho 0.25 - 0.5 mm principalmente prove-
nientes de pinceladas mais hesitantes.
2.3.3.3 Anlise de Pinturas Inspirada em Processos Biolgicos
Este grupo, designado por Maastricht Group, guiou-se por trs princpios bsicos: (1) os
contornos so importantes, (2) as imagens devem ser analisadas a vrias escalas, e (3)
as semelhanas entre as imagens so reflectidas na textura local (padro da pincelada)
[JHB+ 08].
Anlise de Pinturas atravs de Gabor wavelets Os princpios definidos foram imple-

mentados aplicando filtros de Gabor wavelet (ver figura 2.6, (c)) orientados em vrias
17
escalas e organizando os coeficientes obtidos em histogramas. Estes histogramas repre-

sentam a decomposio da imagem em "valores de energia" (ver figura 2.8 ), um valor
de energia para cada pixel, orientao e escala. Neste caso, os filtros so aplicados a pat-
ches, sendo que a energia total de uma imagem calculada simplesmente somando os
valores de energia de cada patch que a constitui, o que significa contar os contornos na
pintura. A partir de uma escala escolhida para anlise, a escala mais fina onde melhor as
Gabor wavelets realam as pinceladas, procedeu-se anlise dos valores de energia das
vrias pinturas. Verificou-se que, por exemplo, para uma das pinturas falsificadas fo-
ram obtidos maiores valores de energia do que para as pinturas verdadeiras, sugerindo
a existncia de pinceladas hesitantes.
Figura 2.8: Extraco dos valores de energia [JHB+ 08].
Para tornar este processo (descrito em [JHB+ 08]) mais rigoroso, construiu-se uma re-
presentao mais detalhada das imagens atravs da criao de um histograma multi-
dimensional que captura a informao de configurao das frequncias espaciais e ori-
entaes num nico patch. Utilizando estes histogramas para as pinturas, este grupo
incluiu na sua anlise um modelo para efectuar classificao automtica com auxlio de
Support Vector Machines (SVM) [MMR+ 01]. Este requeria um conjunto de vectores de
entrada e as respectivas labels representando as suas classes. Os vectores de entrada so
assim os vectores multi-dimensionais enquanto que as labels representam a autenticidade
dos quadros, Van Gogh e no Van Gogh. A seguir, foi efectuada uma validao cruzada
leaving-one-out para treinar o desempenho geral da SVM construda com as 101 pinturas
disponibilizadas.
Com a combinao de vectores multi-dimensionais, quatro das seis pinturas no Van

Gogh foram identificadas, enquanto que as outras duas foram classificadas de forma
errada como pertencentes a Van Gogh.
18
2. T RABALHO R ELACIONADO 2.4. Anlise de Assinaturas Digitais
2.4 Anlise de Assinaturas Digitais

Esta seco apresenta alguns dos trabalhos existentes no estado da arte sobre anlise de
assinaturas, mais especificamente para validao de autenticidade de assinaturas. No
estado da arte existe um conjunto de trabalhos nesta rea com resultados significativos,
existindo diferentes tipos de caractersticas a extrair de assinaturas, e tambm diferen-
tes tipos de classificadores. Em [LP94] feita uma abordagem sobre o estado da arte na
anlise de assinaturas, enunciando alguns dos principais mtodos aplicados nesta rea
de investigao. De referir a existncia de dois tipos de mtodos para verificao de
autenticidade de assinaturas, sendo um designado online e outro offline. Um sistema on-
line captura as caractersticas dinmicas da assinatura como tempo, presso e velocidade
de escrita enquanto que um sistema offline analisa as imagens estticas das assinaturas,
sendo um processo mais complicado de realizar do que a verificao online.
2.4.1 Autenticao Baseada nas Caractersticas Geomtricas das Assinaturas
A autenticao de assinaturas de forma automtica continua a ser um dos grandes de-

safios devido s caractersticas prprias das assinaturas [DIL+ 04]. Determinados pontos
nas assinaturas, tal como os pontos de comeo e os pontos de fim da caneta ou pontos
onde a trajectria muda transportam informaes importantes. No trabalho apresentado
em [jai02] estes pontos so considerados crticos, incidindo a investigao sobre as ca-
ractersticas geomtricas da assinaturas. Os autores de [jai02] sugerem um mtodo que
segue vrias fases de modo a efectuar a classificao de autenticidade.
Na fase de pr-processamento, aplica-se um Gaussian Filter de modo a tornar a assi-
natura mais uniforme, eliminando grande parte do rudo. Todos os elementos da escrita
so combinados num s, isto , se uma assinatura tiver vrias palavras, elas ficam todas
ligadas aps este passo.
Figura 2.9: Extraco de Caractersticas Espaciais [jai02]
Segue-se depois a fase de extraco de caractersticas, onde se extraem caractersticas

globais e locais. As caractersticas globais incidem sobre o nmero de palavras diferentes
na assinatura. As caractersticas locais dividem-se em temporais e espaciais. As carac-
tersticas espaciais so extradas da forma da assinatura (ver figura 2.9), sendo elas as
seguintes: a diferena entre coordenada x e y de dois pontos consecutivos; a coordenada
y absoluta em relao ao centro da assinatura; o seno e o coseno do ngulo com o eixo
19
do x; a curvatura da assinatura; os valores em escala de cinzentos para cada pixel numa

vizinhana 9x9. Em termos de caractersticas temporais, extraram-se duas variantes, a
velocidade absoluta e a velocidade relativa da escrita.
Aps extradas as caractersticas para cada uma das assinaturas, foi realizada a com-
parao de assinaturas. Para comparar as caractersticas extradas entre duas assinaturas
foi construdo um mtodo designado String Matching (mtodo proposto em [OKM00]).
Cada assinatura assim representada por uma string, englobando todos os seus vectores
de caractersticas e aplicado o mtodo String Matching. String Matching um mtodo
para comparar strings de diferentes tamanhos. Este encontra pontos de alinhamento en-
tre as duas strings de tal modo que a soma das diferenas entre cada par de pontos
mnima. Depois de aplicado o mtodo, a diferena entre o nmero de palavras das as-
sinaturas calculada e incorporada numa medida de dissimilaridade. Um threshold foi
posteriormente definido sobre esta medida de modo a separar entre assinaturas autnti-
cas e falsificaes.
De forma semelhante ao trabalho apresentado anteriormente apresenta-se tambm o
trabalho realizado em [MRB06], onde as caractersticas extradas incidem tambm sobre
as caractersticas geomtricas da assinatura. Cada assinatura representada por dois con-
juntos de pontos que representam a distribuio dos pixels da escrita na imagem. Os pon-
tos so calculados por dois mtodos, um designado Vertical Splitting e outro Horizontal
Splitting (ver figura 2.10). Antes de aplicados os dois mtodos anteriores, a assinatura
deve ser centrada na imagem de modo a optimizar o clculo dos pontos.
Figura 2.10: (a) Vertical Splitting, (b) Horizontal Splitting [MRB06].
Aps extraco de caractersticas, a classificao efectuada com base na distncia

Euclidiana sobre os vectores de caractersticas extrados, sendo definido um threshold so-
bre a distncia calculada para definir uma assinatura como falsificao ou autntica.
Por fim, de realar ainda um trabalho de investigao descrito em [ABM06] com vista
a autenticao de assinaturas no qual foram extradas um conjunto de caractersticas
como as direces e as transies presentes numa assinatura. Foi tambm extrada uma
caracterstica designada "centroid feature". Esta ltima consistia no ngulo dominante da
assinatura. A classificao foi efectuada com recurso a dois classificadores de redes neu-
ronais, um designado Resilient Backpropagation (RBP) e outro designado Radial Basis
Function (RBF).
20
2.4.2 Autenticao de Texto Utilizando Caractersticas de Textura
Alm da autenticao de assinaturas, existe tambm a questo da autenticao de texto

que surge um pouco no seguimento da questo anterior. Na seco anterior foram apre-
sentados alguns dos trabalhos de investigao que efectuam classificao a partir das ca-
ractersticas geomtricas da assinatura, contudo tambm possvel efectuar esse processo
atravs de caractersticas de textura. O trabalho de investigao relatado em [SBT98]
a prova disso mesmo. Este apresenta um mtodo de validao que segue trs etapas
(ver figura 2.11): normalizao dos dados, extraco de caractersticas e identificao do
escritor.
Figura 2.11: Diagrama de blocos da tcnica apresentada em [SBT98].
A anlise de textura no pode ser aplicada directamente sobre as imagens de escrita

pois o espaamento entre palavras e o espaamento entre linhas afectam a textura. Para
contornar estes factores, os autores deste trabalho aplicaram uma normalizao, onde so
efectuadas vrias operaes, destacando-se a fixao do espaamento entre as palavras.
Aps a normalizao dos dados segue-se a fase de extraco de caractersticas. No

trabalho proposto em [SBT98] utilizaram-se dois tipos de caractersticas, os filtros de Ga-
bor multi-canal (MGF) e a matriz de co-ocorrncias de tons de cinzento (GSCM).
Segue-se ento a fase de identificao do escritor tendo como base as caractersti-

cas extradas. Dois classificadores foram considerados, o Weighted Euclidean distance
(WED) e o K Nearest-Neighbour (K-NN). Para treino dos classificadores, foram extradas
um conjunto de caractersticas representativas de cada um dos escritores. No classifica-
dor WED, as caractersticas extradas para um determinado bloco de texto so compa-
radas com as caractersticas representativas dos escritores, tendo em conta que determi-
nadas caractersticas iro ter mais peso na distncia final. O texto atribudo ao escritor
para o qual a distncia euclidiana entre as caractersticas for menor. No caso do classi-
ficador do vizinho mais prximo (K-NN), um bloco de texto comparado com todas as
classes de caractersticas para cada escritor existente na base de dados. A distncia Eucli-
diana utilizada para medir as semelhanas entre as caractersticas, sendo que o escritor
que tiver a distncia mnima considerado o autor do bloco de texto.
Os resultados relatados em [SBT98] verificaram que as caractersticas de Gabor (MGF)

permitiram uma taxa de acerto significativamente mais elevada do que a matriz de co-
ocorrncias de tons de cinzento (GSCM). A nvel de classificadores, o classificador WED
revelou-se bem mais eficaz na classificao do que o classificador K-NN.
21
2.4.3 Identificao de Assinaturas Utilizando Pontos de Interesse
Muitos dos mtodos de anlise de assinaturas so baseados em caractersticas como a

forma ou a anlise de determinados pontos crticos na assinatura. Contudo, nos ltimos
anos tem-se desenvolvido algum trabalho no sentido de identificar assinaturas atravs
da textura. O trabalho apresentado em [rui08] comprovou, mais uma vez, ser possvel
efectuar autenticao de assinaturas atravs de caractersticas de textura como o caso da
tcnica SIFT.
Os autores da proposta descrita em [rui08] defendem que as SIFT tm uma boa perfor-
mance na extraco de caractersticas e no reconhecimento de objectos, contudo afirmam
que o mtodo de matching apresentado por Lowe ineficiente a eliminar falsos matches.
Baseiam a sua afirmao no facto do mtodo apresentado por Lowe possuir a limitao
de usar apenas uma simples fase de rejeio baseada em hipteses probablsticas, o que
no suficiente para reduzir os falsos positivos. Face a esta concluso decidiram utilizar
um mtodo de matching apresentado por Loncomilla e Ruiz-del-Solar (L&R) no trabalho
descrito em [LdS06]. Esse mtodo engloba uma fase de rejeio rpida baseada em hip-
teses probablsticas, uma fase de verificao da correlao linear, uma fase de verificao
da distoro geomtrica, uma fase de verificao da correlao entre os pixels, um proce-
dimento de transformao de fuso, o uso do algoritmo RANSAC [FB81] e um teste de
restries semi-local para eliminar os falsos matches.
Figura 2.12: Pontos de interesse extrados nas assinaturas [rui08].
Depois de extrados os descritores utilizando o mtodo SIFT (ver figura 2.12), procede-
se aplicao do mtodo L&R referido anteriormente para matching de pares de assina-
turas. Um dos problemas na autenticao de assinaturas a distoro no linear nas
imagens das assinaturas, o que afecta razoavelmente o processo de matching. Contudo
este mtodo suficientemente robusto quanto a isso, podendo verificar-se isso pela ima-
gem 2.13 que apresenta o matching entre pares de assinaturas.
Figura 2.13: (a)-(d) Matches entre pares de assinaturas [rui08].
22
Aps aplicao do matching a assinaturas em que a qualidade se alterava significati-

vamente (por exemplo, atravs de mudanas na posio ou orientao), verificou-se que
o nmero de falsos matches era elevado. Para colmatar este problema os autores deste
trabalho utilizaram um classificador estatstico Nave Bayes [Zha04] aps o processo de
matching. Este classificador foi treinado utilizando um conjunto de 12 caractersticas,
destacando-se de entre elas o nmero de matches entre as assinaturas e o tempo de pro-
cessamento do matching como medida da complexidade do matching.
Os resultados relatados em [rui08] revelam potencial para validao de autenticidade

utilizando caractersticas de textura como o caso das SIFT. Contudo, entre as assinaturas
verdadeiras e falsificaes feitas por profissionais no foi possvel retirar ainda resultados
positivos, sendo um dos grandes desafios ainda em aberto.
De forma semelhante foi tambm aplicado um classificador Nave Bayes no trabalho

descrito em [KSX04], sendo este baseado em caractersticas geomtricas da assinatura e
tendo revelado resultados significativos na autenticao de assinaturas.
2.4.4 Classificao de Assinaturas atravs de SVMs
Os mtodos de anlise de assinaturas apresentados anteriormente diferem principal-

mente nas caractersticas extradas das assinaturas, algo que foi importante realar. Con-
tudo, a nvel da classificao de assinaturas possvel enunciar alguns mtodos cujo
algoritmo de classificao importa referir. Em [BC97] apresentado um trabalho onde
a anlise de assinaturas segue o processo habitual de um algoritmo de classificao. A
extraco de caractersticas tem em conta as caractersticas geomtricas da escrita, sendo
extrados um conjunto de pontos da assinatura. Em termos de classificao, utilizado
um conjunto de classificadores conjugados sendo estes classificadores representados por
vrias redes neuronais feed-forward. De forma semelhante no trabalho apresentado em
[HY97] tambm efectuada classificao utilizando redes neuronais.
Alm de um sistema de classificao organizado em redes neuronais, tambm pos-

svel efectuar a classificao utilizando Support Vector Machines (SVMs). No trabalho
apresentado em [OSK05], as SVMs so utilizadas para efectuar a classificao de assina-
turas em trs grupos: random, falsificaes geradas sem qualquer conhecimento da forma
ou contedo da assinatura original; simple, falsificaes construdas conhecendo o nome
do detentor da assinatura, mas no a forma; e por fim skilled, geradas por pessoas ten-
tando copiar o melhor possvel a assinatura original.
O sistema apresentado em [OSK05] segue vrias fases: pr-processamento dos dados,

extraco de caractersticas e classificao das assinaturas. A fase de pr-processamento
engloba eliminao do fundo da imagem, reduo do rudo, normalizao da largura e
uma fase de thinning da mesma.
23
2.4.4.1 Extraco de Caractersticas
As caractersticas extradas so caractersticas globais, mscara e grelha (ver figura 2.14).

As caractersticas globais fornecem informao acerca de casos especficos da forma da
assinatura. So elas as seguintes: rea da assinatura, relao altura-largura, histograma
horizontal mximo e histograma vertical mximo, centro horizontal e vertical da assi-
natura, nmero local mximo da assinatura e os pontos de contorno da assinatura. As
caractersticas mscara fornecem informao acerca das direces das linhas da assina-
tura. As caractersticas de grelha fornecem uma informao geral acerca da aparncia da
assinatura.
Figura 2.14: Extraco de caractersticas: (a) pr-processamento (b) altura (c) histograma
vertical mximo (d) histograma horizontal mximo (e) centro horizontal (f) centro verti-
cal (g) nmero local horizontal mximo (h) nmero local vertical mximo (i) pontos de
contorno (j) caractersticas de grelha [OSK05].
2.4.4.2 Treino e Teste do Classificador
A classificao pretendida um problema multi-classe, contudo devido ao facto das SVM

suportarem apenas duas classes foi necessrio combinar vrias SVMs de duas classes (ver
figura 2.15) atravs de uma tcnica designada one-against-all [GGL+ 03]. Para treino do
classificador utilizou-se vrias assinaturas pertencentes a cada uma das classes, sendo
que foram tambm testadas vrias funes kernel (linear, polinomial, funo de base ra-
dial e sigmide). Os testes com as vrias configuraes do classificador revelaram que os
melhores resultados foram obtidos utilizando a funo de base radial.
O classificador foi testado tendo como entrada um conjunto de assinaturas verda-
deiras e falsas, calculando-se depois a taxa de acerto do classificador em distinguir as
duas classes. Para comprovar a eficcia deste classificador comparou-se ainda este m-
todo com um classificador utilizando redes neuronais (ANN). Os resultados relatados
em [OSK05] mostram a eficcia deste classificador, sendo isso visvel pela imagem 2.16.
Continuando a temtica da classificao de assinaturas utilizando SVMs, de referir
um trabalho de investigao no qual so comparadas duas tcnicas de classificao com
vista verificao de autenticidade de assinaturas [JBS05]. Nesse trabalho efectuada
uma comparao entre um mtodo de classificao utilizando SVMs e outro utilizando
Hidden Markov Models (HMM), uma tcnica estatstica. Em todos os testes efectuados
sobre vrias assinaturas utilizadas (quer para treino quer para teste), a classificao com
24
2. T RABALHO R ELACIONADO 2.5. Aquisio e Anlise de Imagens Hiperespectrais
Figura 2.15: Estrutura da SVM cons- Figura 2.16: Resultados de aplicao do

truda [OSK05]. mtodo [OSK05].
SVMs permitiu obter melhores resultados do que a classificao com HMM, revelando
assim que esta poder ser uma tcnica promissora para revolver alguns dos problemas
de autenticao de assinaturas.
Por fim, importa ainda realar um outro trabalho de investigao [KY05] onde a ve-
rificao de autenticidade de assinaturas efectuada no s recorrendo a SVMs, mas
combinando estas com um classificador Nave Bayes e um classificador linear usado em
conjuno com o mtodo Principal Component Analysis (PCA) [Pea01].
2.5 Aquisio e Anlise de Imagens Hiperespectrais

Nesta seco iro ser abordados alguns trabalhos nos quais se aplicaram mtodos de
anlise de imagens hiperespectrais com vista a mapeamento de materiais. feita tambm
uma introduo sobre aquisio de imagens hiperespectrais.
2.5.1 Aquisio de Imagens Hiperespectrais

A aquisio de imagens hiperespectrais consiste no registo de imagens em vrias bandas
espectrais estreitas e contnuas. Este processo tipicamente tridimensional: duas dimen-
ses espaciais e uma dimenso espectral (comprimentos de onda). Os sensores da cmara
registam, em cada frame, as duas dimenses espaciais enquanto que a dimenso espectral
obtida por um varrimento sequencial.
O sistema multiespectral utilizado constitudo por cmara digital CCD monocro-
mtica, controlada computacionalmente e integrada com um filtro sintonizvel de cristal
lquido, LCTF (Liquid Crystal Tunable Filter), cuja transmitncia espectral pode ser con-
trolada electronicamente. Entre a cmara e o filtro encontra-se uma objectiva fotogrfica.
frente do LCTF encontra-se um filtro de interferncia que bloqueia os infravermelhos
(IV). A cena que se pretende registar colocada paralelamente ao CCD, iluminada por
trs lmpadas Solux (ver figura 2.17) [dAeTdC04].
25
Figura 2.17: Esquema do sistema de captao de dados. (c1) controlo digital do filtro, (c2)
controlo analgico do filtro (c3) controlo do shutter e tempo de exposio (c4) sinal digital
da imagem [dAeTdC04].
Um computador pessoal (PC), com placa de aquisio digital de imagens, permite

a aquisio dos dados, registando-os como ficheiros de imagem. O software utilizado
sintoniza o filtro e cria a matriz de tempos de exposio, isto , determina o tempo de
exposio para cada comprimento de onda; esta matriz determinada de modo a que o
valor mximo do sinal do pixel seja inferior ao valor de saturao do sensor da cmara.
2.5.2 Objectivos para Visualizao de Imagens Hiperespectrais
A visualizao de imagens hiperespectrais tem sido um dos grandes desafios ao longo

dos ltimos anos. Uma pergunta se coloca: como pode a informao contida numa ima-
gem hiperespectral ser apresentada de forma a ser interpretada pelos humanos sem re-
querer treino especfico para tal? Existe um conjunto de trabalhos de investigao que
tentam resolver a questo anterior, apresentando vrios mtodos para a anlise de ima-
gens hiperspectrais, contudo cada caso especfico requer um mtodo adequado de acordo
com o domnio e os agentes do domnio a que se destina. Os autores de [JG05] apresen-
tam um conjunto de indicaes para construo de um mtodo adequado para visualiza-
o de imagens hiperespectrais. Entre essas indicaes destacam-se:
1. Visualizao consistente: um espectro sempre representado pela mesma cor de

modo a ser facilmente identificado ao longo de vrias imagens, facilitando assim a
sua comparao;
2. Preservao do contedo da imagem: o contedo da imagem original deve ser

representado fielmente ao original, mantendo os contornos dos vrios objectos;
3. Eficincia computacional: a visualizao deve ser mostrada rapidamente, permi-

tindo interactividade real-time.
26
4. Pequenas diferenas efectivas: a visualizao deve realar as pequenas diferenas

entre espectros semelhantes permitindo, por exemplo, identificar pigmentos seme-
lhantes;
5. Visualizao sem caractersticas distractivas: a visualizao deve minimizar as ca-

ractersticas que distraem o utilizador sem razo aparente;
6. Paleta natural: a visualizao deve usar um conjunto de cores que consistente

com a visualizao de imagens naturais, tirando partido do facto do ser humano
estar bem preparado para analisar cenas naturais;
7. Igual peso dos comprimentos de onda: todos os comprimentos de onde devem ter
igual peso na visualizao, funcionando assim o mtodo para qualquer nmero de
bandas e sendo independente do intervalo de frequncias.
As indicaes enunciadas serviro assim de objectivos de aceitao para os mtodos

construdos ao longo do desenvolvimento, auxiliando no caminho a seguir ao longo do
mesmo.
2.5.3 Visualizao de Imagens Hiperespectrais Atravs do Mapeamento de

Trs Comprimentos de Onda
Um dos mtodos de visualizao recorre ao mapeamento de trs comprimentos de onda
do cubo hiperespectral em cada um dos canais RGB. Em [TKDO03] apresentado um
trabalho de investigao onde se seleccionou trs bandas igualmente espaadas, sendo o
valor de reflectncia de cada pixel o valor de cada um dos canais RGB respectivamente.
As bandas escolhidas devem cobrir a maioria do espectro de cada pixel e devem ser mi-
nimamente correlacionadas devido sua separao espectral.
As bandas escolhidas pretendiam realar a absoro em particular do mineral kaoli-
nite. O mapeamento obtido (ver figura 2.18) destaca algumas caractersticas da imagem
e segmenta a imagem em regies com diferentes materiais. Contudo existe um enorme
nmero de possibilidades para mapear trs bandas especficas nos canais (R,G,B). O es-
quema de cores mudar para cada uma das configuraes, no existindo a priori forma
de identificar qual a intensidade de cor em que um determinado material ser mapeado.
Figura 2.18: Mapeamento de dois conjuntos diferentes de comprimentos de onda nos

canais RGB [TKDO03].
27
2.5.4 Visualizao de Imagens Hiperespectrais Principal-Components-Based
Apesar do mtodo anteriormente descrito ser utilizado em situaes pontuais para iden-
tificar a presena de determinados elementos numa imagem hiperespectral, existem al-
guns mtodos mais complexos para efectuar uma anlise visual do contedo de uma
imagem hiperespectral. O mtodo Principal Components Analysis (PCA) [Pea01] tem
sido aplicado ao longo dos anos na anlise de imagens hiperespectrais. O PCA efec-
tivo a comprimir informao em conjuntos de dados multivariados atravs do clculo
das projeces ortogonais que maximizam a quantidade de varincia dos dados. tipi-
camente efectuado atravs da decomposio dos vectores prprios da matriz de covari-
ncia da dimenso espectral no cubo hiperespectral. No caso de imagens hiperespectrais,
este mtodo utilizado para condensar a informao de um espectro num conjunto mais
pequeno de variveis.
2.5.4.1 Principal Components Analysis (PCA)
Quando aplicado na decomposio de imagens hiperespectrais, este mtodo pode ser

tambm designado por Multiway-PCA [JAMB08]. Antes da aplicao do mtodo ne-
cessrio efectuar o unfold do cubo hiperespectral de modo obter-se uma matriz, em que o
nmero de linhas da matriz o nmero de pixels da imagem e o nmero de colunas a
dimenso do espectro. A figura 2.19 mostra os passos at aplicao do mtodo.
Figura 2.19: Aplicao de diferentes algoritmos a imagens hiperespectrais (a) PCA, CLS
and MCR-ALS [JAMB08].
28
O PCA decompe a matriz X da seguinte forma:
X = TPT + E (2.1)
onde T (MN x F) a matriz de scores, P ( x F) a matriz de loadings e E (MN x )

representa a matriz de resduos para os F componentes principais.
Uma abordagem tpica a apresentao de alguns dos scores em imagens pseudo-
cor atravs do mapeamento dos trs primeiros scores nos canais RGB. As escolha dos
primeiros scores prende-se com o facto de que estes esto organizados em termos de re-
presentao da variabilidade dos dados decrescente. Isto , por exemplo, os primeiros
trs scores produzidos representam aproximadamente 95% da variabilidade dos dados.
No estado da arte existe uma quantidade significativa de trabalhos que recorrem
aplicao do PCA para anlise de imagens hiperespectrais. Normalmente as imagens
hiperespectrais so obtidas atravs de imagens de satlite, sendo depois feita uma an-
lise do contedo da imagem. Em [JAMB08] so apresentados alguns dos mtodos para
anlise de imagens multivariadas, destacando-se o PCA e alguns algoritmos de clustering
como o K-Means. Em [TKDO03] descreve-se a aplicao do PCA com vista ao mapea-
mento de materiais semelhantes (ver figura 2.20).
Figura 2.20: Imagens pseudo-cor obtidas atravs do mapeamento directo dos scores nos
canais (R, G, B). (a) (P1, P2, P3) (b) (P2, P2, P3)[TKDO03].
Na proposta descrita em [TKDO03] a destacar ainda a utilizao de scatter-plots para

identificar pixels com materiais semelhantes, tal como a construo de imagens pseudo-
cor com o mesmo fim. No artigo [JG05] so analisadas as vantagens e desvantagens da
aplicao do PCA para fins de visualizao. Alm disso, os autores deste ltimo traba-
lho apresentam tambm um novo mtodo de visualizao (Spectral Weighted Envelopes)
baseado na percepo da cor pelo olho humano. No trabalho descrito em [ZMM06] os
autores optaram por fazer uma comparao entre a aplicao do PCA e um mtodo se-
melhante designado por Independent Component Analysis (ICA) [CS93] para efeitos de
visualizao. Tambm efectuaram o mapeamento em diversos espaos de cor, no se
restringindo apenas ao espao RGB. Outro dos trabalhos onde se pode encontrar uma
comparao semelhante em [ZVC11].
29
2.5.5 Visualizao de Imagens Hiperespectrais Atravs de Classificao Su-

pervisionada
Os dois mtodos apresentados constituem alternativas para efectuar o mapeamento de

materiais ou para identificar de regies de cor semelhantes. Contudo, devido ao facto de
no se conhecer a priori a cor com que determinado material ir ser representado difcil
a interpretao e anlise visual. Face a esta desvantagem, surgiram inmeros trabalhos
onde o mapeamento de materiais feito atravs de um algoritmo de classificao. A clas-
sificao supervisionada Spectral Angle Mapper (SAM) [YGB92] tem-se afirmado como
um dos principais mtodos de classificao nesta rea. Alm do SAM, existem ainda ou-
tras tcnicas utilizadas em alguns trabalhos de investigao com vista a classificao que
se verificaram no ser to eficazes, destacando-se o uso da distncia Euclidiana [HR04]
ou da Spectral Correlation Similarity [HR04] como mtricas de deciso.
2.5.5.1 Spectral Angle Mapper (SAM)
O SAM um mtodo para comparao rpida entre um espectro de teste e um espectro

de referncia. Normalmente descreve-se como uma tcnica para classificao espectral
que usa um ngulo n-dimensional para efectuar o match entre o espectro de um pixel e
os espectros de referncia. Este mtodo determina a similaridade espectral atravs do
ngulo entre os espectros, tratando-os como vectores n-dimensionais num espao com
dimensionalidade igual ao nmero de bandas. Os espectros de referncia so normal-
mente adquiridos a partir do cubo hiperespectral em estudo, contudo podem tambm
ser obtidos em laboratrio ou atravs de medies no contedo da prpria cena. ngu-
los pequenos entre dois espectros indicam alto grau de similaridade. O ngulo calculado
invariante a mudanas de iluminao pois ignora o facto de um espectro ser o resultado
de um outro multiplicado por uma constante, assim como no tem em conta os compri-
mentos de cada um dos vectores. Este obtido atravs da seguinte frmula:

1 ~a.~c
= cos (2.2)
k~ak k~ck
2.5.5.2 Classificao Supervisionada
Diversos trabalhos recorreram utilizao do SAM devido ao seu elevado desempenho

em identificar espectros de materiais desejados. Todavia, a construo de uma base de
dados de referncia um dos passos mais importantes no processo de classificao.
Construo da Base de Dados A construo da base de dados muito importante pois

o resultado da classificao vai depender directamente da qualidade dos espectros de
referncia. Estes podem ser obtidos em laboratrio ou em amostras da cena contida na
imagem hiperespectral, mas na maioria dos casos so obtidos atravs de amostragem
da imagem hiperespectral em estudo. Assim garante-se que os espectros de referncia
30
possuem as mesmas condies de rudo e iluminao que os espectros de teste, sendo o

rudo um factor importante quando se compara espectros captados por instrumentos di-
ferentes. No trabalho descrito em [PWLS07] pretendia-se identificar zonas contaminadas
em carcaas de frangos. A base de dados foi construda a partir de regies de interesse de
aproximadamente 50 pixels, identificando-se uma regio para cada um dos contaminan-
tes. Depois o espectro mdio foi calculado para cada regio obtendo-se assim o espectro
de referncia para cada contaminante. A necessidade de clculo do espectro mdio surge
pelo facto de ao longo de uma superfcie com o mesmo material existir uma variabili-
dade significativa no espectro, sendo isso eliminado pelo espectro mdio [MMS03].
semelhana do mtodo anterior, tambm nos trabalhos [GBHD04, 22604, SR02] a base
de dados construda atravs de amostragem de pequenos pontos ou zonas na prpria
imagem hiperespectral em estudo.
Construo do Classificador A classificao descrita em [GBHD04] efectuada seguindo

os seguintes passos:
1. Para cada pixel da imagem hiperespectral, calculou-se o ngulo entre o espectro

desse pixel e cada um dos espectros de referncia contidos na base de dados;
2. Atribuiu-se ao pixel a label correspondente ao material com o menor ngulo espec-

tral de entre os presentes na base de dados. Por vezes define-se um threshold como
medida para um pixel pertencer a um determinado material. Isto , se o ngulo es-
pectral mnimo for abaixo do threshold, ento o pixel pertence a esse material. Caso
contrrio lhe atribuda a etiqueta de unclassified por exemplo.
Figura 2.21: Classificao de uma imagem hiperspectral com a respectiva legenda de

cores [GBHD04].
31
2. T RABALHO R ELACIONADO 2.6. Anlise de Imagens Hiperespectrais em Obras de Arte
Para construir uma representao visual consistente basta apenas associar uma cor a
cada um dos espectros de referncia, sendo depois cada pixel representado pela cor do
material a que foi atribudo. Um exemplo disso a figura 2.21.
2.5.6 Visualizao de Imagens Hiperespectrais Atravs de Classificao No-

Supervisionada
O mapeamento de materiais numa determinada cena pode ser efectuado de uma forma
mais automtica face ao mtodo anterior, designando-se assim por classificao no-
supervisionada. No mtodo anterior, o utilizador deve fornecer um conjunto de espectros
de referncia de modo a construir uma base de dados para treino do classificador. Neste
caso, a classificao segue um processo mais automtico, no sendo necessrio construir
uma base de dados para treino. O agrupamento de pixels com o mesmo material feito
recorrendo a alguns dos mtodos de clustering como o caso do K-Means. O K-Means
um mtodo para agrupamento de dados, sendo normalmente a distncia Euclidiana a
principal mtrica utilizada para agrupar dados semelhantes. Nos trabalhos descritos em
[SMG99, SR02], o K-Means foi combinado com o Spectral Angle Mapper devido ao seu
elevado desempenho em identificar espectros com caractersticas semelhantes.
O K-Means associado ao SAM tem revelado resultados positivos, contudo existem
dois problemas inerentes ao mesmo. Em primeiro lugar, surge o problema da definio
do nmero de clusters para a anlise de uma determinada cena, sendo o nmero de clus-
ters fundamental pois representa o nmero de materiais a mapear. Em segundo lugar, no
existe forma a priori de identificar que material ir ser mapeado em cada um dos clusters.
Para resolver este problema, o trabalho descrito em [SMG99] efectuou uma projeco de
cada cluster num conjunto de espectros de referncia. Ou seja, definiu-se um conjunto
de espectros de referncia, efectuou-se o clustering com um determinado nmero de clus-
ters (nmero de clusters elevado permite uma melhor eficincia) e por fim, para cada um
dos clusters, identificou-se o espectro de referncia mais semelhante (utilizando o SAM),
sendo esse o material que o cluster representa. Este mtodo pode ser utilizado com vista
a mapeamento automtico de materiais, contudo devido aos problemas decorrentes do
mtodo para fins de visualizao este acaba por se tornar menos automtico.
2.6 Anlise de Imagens Hiperespectrais em Obras de Arte

Esta seco aborda alguns dos trabalhos de investigao onde se efectuaram anlises de
obras de arte a partir do processamento de imagens hiperespectrais adquiridas sobre
pinturas.
2.6.1 Identificao de Materiais em Obras de Arte
Identificar os materiais de uma determinada pintura um passo crucial no processo de

conservao. Quando o objectivo preparar um plano de interveno, fundamental
32
saber que problemas o restaurador vai encontrar, aplicando-se a mesma ideia validao
de autenticidade. Para identificao dos materiais numa pintura o mtodo mais popular
a anlise de micro-amostras da camada da pintura. Contudo existe o problema deste
ser um mtodo invasivo e da anlise ser apenas num ponto especfico, no sendo gene-
ralizada para a sua vizinhana. Para colmatar estes problemas existe um conjunto de
alternativas no invasivas, tal como a anlise com raios-X de fluorescncia (XRF), as c-
maras hiperespectrais ou a espectroscopia Raman. A ideia base destes mtodos o facto
de inferirem dados da imagem explorando o facto dos materiais reflectirem, absorve-
rem e emitirem radiao electromagntica que depende directamente da sua composio
molecular.
O trabalho apresentado em [PDMDRP08] tira partido de alguns dos mtodos no
invasivos. O objectivo principal do trabalho era efectuar o clustering de pixels que apre-
sentassem semelhanas a nvel da reflectncia, da absoro e da emisso de radiao elec-
tromagntica. Na prtica, o pretendido seria distinguir pixels com a mesma informao
espectral, o que significa materiais semelhantes. Destacando assim materiais semelhan-
tes poderia realar reas onde houve um retoque da pintura ou reas com o material
original. Um dos pontos a destacar no trabalho referenciado o facto do algoritmo cons-
trudo aceitar trs tipos de dados captados com instrumentos diferentes: (1) reflectncia
visual, adquirida entre 400 e 750 nm com espaamento de 50 nm (VIS), (2) reflectncia
por infravermelhos (IR), captada entre 800 e 1100 nm com espaamento 50 nm , (3) Ban-
das visveis UV captadas com um filtro UV entre 400 e 750 nm com espaamento de 50
nm (UV).
2.6.1.1 Mtricas para Comparao de Informao Espectral
Os autores de [PDMDRP08] utilizaram vrias tcnicas para comparao de informao

associada a cada pixel: Spectral Angle Mapper (SAM) e a distncia Euclidiana (ED), am-
bas mtricas determinsticas; distncia de Kolmogorov-Smirnov (KSD) e a Spectral Infor-
mation Divergence (SID), ambas medidas probabilsticas. Tanto o Spectral Angle Mapper
como a distncia Euclidiana j foram abordados no captulo anterior.
2.6.1.2 Classificao Baseada em Informao Espectral
O mtodo apresentado em [PDMDRP08] baseia-se na metodologia de classificao efec-

tuada de forma supervisionada. Isto , tambm neste caso se definiu uma base de dados
com espectros de referncia construda por alguns peritos em arte, contendo assim vrias
amostras de materiais identificveis nas pinturas em anlise. O classificador foi cons-
trudo em duas fases: uma fase de testes e uma fase de aplicao do algoritmo a obras de
arte.
Os testes relatados em [PDMDRP08] permitiram tirar duas concluses. Em primeiro
lugar, as tcnicas SAM e SID permitiram obter resultados mais consistentes do que as
restantes duas tcnicas, existindo tambm a vantagem que a definio de um threshold
33
sobre uma destas mtricas independente do material analisado. A segunda concluso

surge pelo facto de que o desempenho alcanado mais elevado quando se combina
a informao no esquema VIS + UV, sendo o desempenho mais baixo sempre que se
considera a informao IR. Isto facilmente explicvel pelo facto de cada amostra ser
proveniente de uma pintura que por norma possui uma estrutura em camadas, havendo
a camada de preparao, a camada dos materiais e a camada dos leos por exemplo,
sendo as caractersticas dessas camadas captadas pela anlise IR.
Aps as concluses retiradas dos testes anteriores procedeu-se aplicao do mtodo

numa obra de arte com o objectivo de identificar por exemplo o material lapis lazuli (ver
figura 2.22). Na imagem pode ver-se que uma zona que deveria ter sido classificada
como lapis lazulli no foi identificada como tal. Isto acontece porque a zona em questo
(na parte inferior da imagem) foi restaurada e devido a esse factor a sua reflectncia no
se assemelha do material original lapis lazulli. Confirmou-se assim a potencialidade do
mtodo para extenso da anlise pontual para uma anlise na vizinhana de um determi-
nado ponto com o intuito de efectuar um mapeamento dos materiais efectivo. Portanto,
semelhana da imagem apresentada, ser possvel efectuar a segmentao pretendida
para cada um dos materiais presentes na pintura e com a respectiva amostra.
Figura 2.22: (a) A vermelho os pixels classificados como lapis lazuli (configurao VIS +
UV). (b) A vermelho os pixels classificados como lead-tin yellow e lead white. (c) Exemplo
de espectros adquiridos com cada um dos instrumentos [PDMDRP08].
34
2.6.2 Mapeamento e Identificao de Materiais Utilizados por Picasso
O trabalho apresentado em [DZT+ 10] descreve cada um dos mtodos de aquisio da re-
flectncia dos materiais existentes numa cena. Entre os mtodos enumere-se: Hyperspec-
tral Cameras, Luminescence Imaging Spectroscopy, Fiber-Optic Reflection Spectrometer
(FORS), Polarized Light Microscopy, X-ray Fluorescence Spectrometry (XRF) e Scanning
Electron MicroscopyEnergy Dispersive Spectrometry. Os mtodos enunciados foram
utilizados para adquirir o conjunto de dados necessrio para anlise. Esses dados con-
sistiam em duas imagens, uma hiperespectral e outra de infravermelhos, adquiridas na
pintura Harlequin Musician do pintor Pablo Picasso, sendo depois combinadas numa nica
imagem contendo 260 comprimentos de onda (entre 441 e 1680 nm) e posteriormente
processadas por algoritmos geomtricos convexos.
Aps a construo do cubo da pintura procedeu-se a uma reduo do rudo atra-
vs de um conjunto de normas. O processamento do cubo j tratado foi efectuado utili-
zando um programa de processamento de imagens espectrais designado ENVI2 . Na ca-
deia de processamento do cubo espectral, um conjunto de passos foram tidos em conta.
Em primeiro lugar calcularam-se as imagens prprias usando o mtodo Minimum Noise
Fraction (MNF). Em seguida, calculou-se o ndice de pureza do pixel e em ltimo lugar,
utilizou-se o ENVI Nd visualizer para encontrar a base de dados de espectros de refern-
cia atravs de clustering. Para garantir que os espectros de referncia descrevem bem a
superfcie da pintura, utilizou-se o SAM para mapeamento dos materiais de acordo com
os espectros de referncia encontrados (ver figura 2.23).
Figura 2.23: (Esquerda) Imagem da pintura Harlequin Musician. (Centro-Esquerda) Cubo

hiperespectral e clustering de pixels. (Centro-Direita) Espectro dos materiais que consti-
tuem a base de dados. (Direita) Mapeamento dos materiais. [DZT+ 10]
Aps o mapeamento anterior, utilizou-se o mtodo Luminescence Imaging Spectros-

copy para adquirir um novo cubo espectral no intervalo de frequncias entre 650 e 900
nm com espaamento 50 nm. Esta tcnica permite identificar principalmente tons de
amarelo, laranja ou vermelho. O mesmo tipo de processamento do cubo anterior foi
2
http://www.exelisvis.com/ProductsServices/ENVI.aspx
35
2. T RABALHO R ELACIONADO 2.7. Discusso
tambm aplicado neste caso, revelando-se tambm uma eficcia generalizada no mapea-
mento dos diferentes materiais (ver figura 2.24).
Figura 2.24: (A) Imagem de luminescncia infravermelhos. (B) Mapeamento dos espec-
tros de emisso primrios. (C) Imagem da pintura Harlequin Musician. (D) Mapeamento
dos espectros de referncia que so luminescentes no cubo hiperespectral. Em baixo, os
espectros obtidos utilizando Luminescence Imaging Spectroscopy e Hyperspectral Ca-
mera [DZT+ 10].
Por fim, efectuou-se a atribuio de cada um dos espectros encontrados de forma au-
tomtica atravs de clustering a cada um dos materiais puros utilizados pelo pintor. Esta
atribuio revelou vrios aspectos. Em primeiro lugar, possvel concluir que os mate-
riais puros utilizados na construo da pintura em anlise podem ser mapeados e iden-
tificados utilizando a anlise de imagens hiperespectrais. Complementando os dados de
reflectncia com a Luminescence Imaging Spectroscopy e a anlise pontual XRF condu-
ziu a um desempenho significativo na atribuio dos materiais, a nvel de mapeamento e
identificao. Os resultados obtidos no trabalho descrito em [DZT+ 10] revelaram ser sig-
nificativos ao ponto de se considerar uma tcnica para efectuar o mapeamento efectivo
de materiais.
2.7 Discusso
Os trabalhos descritos neste captulo ilustram o estado da arte associado ao tema da dis-
sertao. Esta seco surge pela necessidade de efectuar uma comparao entre algumas
das tcnicas ou mtodos apresentados anteriormente. A dissertao divide-se em duas
partes que incidem sobre o mesmo domnio, anlise de obras de arte.
A primeira parte consiste na anlise das imagens digitais de assinaturas, sendo as
primeiras trs seces focadas na anlise de alguns dos mtodos para processamento e
anlise de imagem. A seco 2.2 apresenta uma viso geral de duas tcnicas utilizadas
36
para extraco de caractersticas, assim como um mtodo para organizao das mesmas.
Apesar de uma grande quantidade de trabalhos de investigao utilizar os filtros de Ga-
bor para extraco de caractersticas, neste caso devido s caractersticas muito incons-
tantes das assinaturas (constantes variaes de escala, rotao, translao e da geometria)
optou-se como tcnica principal para extraco de caractersticas a SIFT pois invariante
aos problemas anteriores. O Gabor permite uma anlise global da imagem, sendo as ca-
ractersticas extradas a nvel global enquanto que as SIFT extraem um conjunto de carac-
tersticas locais, obtendo-se para cada imagem um conjunto de vectores de caractersticas
que podero ser organizadas utilizando a tcnica Bag-of-Features.
A seco 2.3 enuncia alguns dos trabalhos de investigao com vista a anlise de obras
de arte, destacando-se principalmente a validao de autenticidade e atribuio de autor
nos trabalhos descritos. Esta seco tem como principal objectivo estabelecer um contexto
para a respectiva dissertao ao nvel do trabalho j realizado no mesmo domnio. A
maioria dos mtodos apresentados efectua uma anlise da pincelada caracterstica do
pintor, normalmente realizada atravs de filtros de Gabor ou Gabor Wavelets, contudo
devido s razes apresentadas no pargrafo anterior, o Gabor foi preterido face s SIFT.
Ainda no mbito da primeira parte da dissertao surge a seco 2.4, totalmente de-
dicada ao relato de vrios trabalhos de investigao com vista a verificao de autenti-
cidade de imagens de assinaturas digitais. Pode-se encontrar uma enorme diversidade
de caractersticas extradas das assinaturas e tambm de classificadores utilizados. Aps
anlise do estado da arte, verificou-se que no existia uma ferramenta para validao de
assinaturas de pintores, nem existia nenhuma ferramenta que conjugasse as SIFT com as
Support Vector Machines para classificao de assinaturas. Assim, surge o interesse em
desenvolver uma ferramenta que permita efectuar verificao de autenticidade e atribui-
o de autor de pinturas baseada nas caractersticas da assinatura do pintor em questo.
A segunda parte da dissertao consistia no mapeamento dos materiais de pinturas
atravs da anlise de imagens hiperespectrais. A nvel do trabalho relacionado destacam-
se duas seces, 2.5 e 2.6. A seco 2.5 pretende estabelecer um contexto para os da-
dos que se pretende analisar. Para contextualizao, descrita a forma como os dados
so captados e alguns dos mtodos para anlise dos dados adquiridos. De realar um
conjunto de objectivos para visualizao de imagens hiperespectrais descritos em 2.5.2,
sendo estes fundamentais no desenvolvimento da dissertao. Inicialmente foram abor-
dados dois mtodos em 2.5.3 e 2.5.4, sendo o segundo um mtodo bastante utilizado
no estado da arte para anlise de imagens hiperespectrais. Contudo, devido ao facto
destes no permitirem atingir alguns dos objectivos considerados como indispensveis
para construo de um novo mtodo foram preteridos. Caminhou-se assim no sentido
de alguns algoritmos de classificao, sendo que face aos resultados obtidos em vrios
trabalhos de investigao com a tcnica SAM, considerou-se que esta seria a principal
tcnica a utilizar.
Por fim, a seco 2.6 aborda a aplicao de imagens hiperespectrais na anlise de obras
37
de arte, destacando-se a utilizao de alguns dos mtodos para anlise de cubos hiperes-
pectrais. Face aos trabalhos analisados verificam-se de facto mapeamentos de materiais
efectuados de forma efectiva, contudo pretende-se ir mais longe a nvel do mapeamento
de materiais atravs da construo de um mtodo mais robusto, para efectuar tambm
uma anlise ao nvel das misturas, algo em que o SAM pouco vantajoso. Os mtodos
anteriores revelaram algumas dificuldades a nvel da semelhana de espectros de materi-
ais diferentes, ou seja, quando a curva espectral semelhante em dois espectros mas estes
pertencem a materiais diferentes. O desenvolvimento da dissertao pretende resolver
este problema de forma a considerar estes casos no processo de mapeamento.
38
3
Anlise de Obras de Arte
Este captulo descreve o trabalho desenvolvido ao longo da dissertao com vista a reali-
zar a soluo proposta.
3.1 Introduo
Este captulo encontra-se dividido em vrias seces de acordo com os objectivos defini-
dos. A figura 3.1 apresenta um diagrama estruturando todo o desenvolvimento da dis-
sertao. Neste diagrama possvel visualizar as vrias fases do desenvolvimento, assim
como o objectivo principal de todo o desenvolvimento, verificao de autenticidade e
atribuio de autor de pinturas. A primeira fase consiste na anlise das imagens digitais
de assinaturas, estando presente no diagrama no primeiro bloco, onde se pode destacar
a identificao de perodos de assinaturas e a construo de um sistema de classificao
de assinaturas em termos de atribuio e autenticidade. A segunda fase engloba a re-
construo parcial do classificador de pinturas baseado em caractersticas de pincelada
com vista integrao no sistema de classificao combinada de pinturas. A terceira fase,
representada pelo terceiro bloco engloba a anlise de imagens hiperespectrais, tendo sido
construdos vrios mtodos para anlise de obras de arte. Construiu-se um mtodo de
classificao recorrendo a uma base de dados interna, um mtodo automtico de classifi-
cao, um mtodo de classificao recorrendo a uma base de dados externa e um mtodo
para anlise de misturas e validao de autenticidade baseada na anlise dos materiais.
Por fim, surge o ltimo bloco onde se encontra o sistema combinado para verificao de
autenticidade e atribuio de pinturas baseado em vrios tipos de caractersticas, quer se-
jam caractersticas da pincelada do artista, quer caractersticas das assinaturas do pintor
em anlise.
39
3. A NLISE DE O BRAS DE A RTE 3.2. Anlise de Assinaturas
Figura 3.1: Diagrama do sistema desenvolvido para anlise de obras de arte.
3.2 Anlise de Assinaturas

A anlise de assinaturas no consistiu no desenvolvimento de uma aplicao com uma
interface grfica definida, mas sim no desenvolvimento de um conjunto de ferramentas
cujo maior interesse reside nos resultados produzidos. O pintor em estudo, Amadeo
de Souza Cardoso, utilizou um conjunto de assinaturas para autenticar alguns dos seus
quadros. O desenvolvimento foi efectuado sobre um conjunto de imagens digitais das
assinaturas existentes.
3.2.1 Pr-Processamento dos Dados
Inicialmente existiam 140 imagens de assinaturas pertencentes a Amadeo de Souza-Cardoso,

21 imagens pertencentes a outros pintores (entre eles, Almada Negreiros, Mario Eloy),
10 imagens de assinaturas falsificadas em meio laboratorial e 2 imagens de assinaturas
ainda por desvendar quanto autenticidade. Verificou-se ento uma escassez de dados
ao nvel de assinaturas de outros pintores, assim como tambm ao nvel das falsificaes.
Para colmatar a falta de assinaturas de outros pintores, efectuou-se uma pesquisa online
de assinaturas de outros pintores. Deste modo foi possvel obter cerca de 56 assinaturas
de outros pintores, destacando-se Degas, Mir, P. Cezanne, Magritte, entre outros. Ao
nvel das falsificaes no foi possvel obter mais dados.
Em primeiro lugar, redimensionaram-se todas as imagens de modo a que a compara-
o entre as mesmas fosse efectuada de forma equilibrada. Isto devido ao facto de existi-
rem imagens muito grandes com resoluo 900x500 pixels e imagens muito pequenas em
40
que a resoluo era 150x100 pixels. Definiu-se um valor mdio para a resoluo (250x250
pixels) e converteram-se todas as imagens de acordo com esse valor sempre mantendo o
aspect ratio (relao entre a altura e a largura da imagem) da imagem.
Ao extrair as caractersticas utilizando a SIFT, verificou-se que devido textura bas-
tante irregular dos quadros onde as assinaturas estavam contidas, grande parte das ca-
ractersticas era proveniente do fundo da imagem e no do contedo da assinatura (ver
figura 3.2, (a)). Para colmatar esse aspecto, surgiram duas hipteses: efectuar a extrac-
o das SIFT em pontos regulares; ou tentar extrair o background das imagens de alguma
forma de modo a eliminar as caractersticas provenientes do mesmo. Devido constante
rotao e translao nas imagens, seria praticamente impossvel definir um conjunto de
pontos que capturassem as caractersticas de igual modo em todas as assinaturas. Assim
optou-se por se proceder extraco do fundo da imagem.
Figura 3.2: Extraco dos pontos de interesse utilizando a SIFT. (a) Aplicadas imagem
original. (b) Aplicadas imagem aps aplicao da extraco do background.
A extraco automtica do fundo da imagem seguiu os seguintes passos:
1. A imagem da assinatura convertida do espao de cor RGB para uma imagem

numa escala de cinzentos.
2. A imagem convertida em valores binrios 0 e 1, separando a assinatura do fundo.

Para converter uma imagem em tons de cinzento para uma imagem binria, pri-
meiro necessrio definir um threshold para que todos os pixels sejam mapeados
nos valores 0 ou 1 de acordo com esse valor. Neste caso utilizou-se o mtodo de
Otsu [Ots79] para encontrar o valor do threshold. Este mtodo calcula o threshold
global para uma imagem que minimiza a varincia intra-classe entre os pixels pre-
tos e brancos. Aps a obteno do threshold, aplicou-se uma funo que substitui
todos os pixels da imagem com uma luminncia maior do que o threshold pelo valor
1 (branco) e substitui todos os outros pixels com o valor 0 (preto). Assim obteve-se
uma imagem apenas com valores de 0 e 1 (ver figura 3.3).
41
Figura 3.3: Exemplos de imagens binrias obtidas aps o processo de segmentao.
3. Aps a obteno da imagem binria surgiu o problema de identificar a codificao

que correspondia ao contedo da assinatura e do background de uma forma autom-
tica, se 0 ou 1. Face dificuldade em encontrar uma condio eficaz, considerou-se
que o valor dominante representava o fundo pois na grande maioria das imagens o
fundo era o elemento mais presente. Assim, para cada imagem procedeu-se iden-
tificao do valor dominante (0 ou 1), e selecciona-se todos os pixels com o valor
oposto que modelariam o contedo da assinatura. Aps a identificao dos pixels
pretendidos, seleccionou-se cada um desses pixels na respectiva imagem em tons
de cinzento. Esta condio no foi eficaz em alguns casos pontuais onde a assina-
tura era o elemento dominante da imagem, sendo necessrio forar o algoritmo a
escolher um dos valores como dominantes para estes casos. O resultado pode ser
comprovado na figura 3.2, (b).
Figura 3.4: Extraco dos background da imagem. (a) Resultado da extraco automtica.
(b) Resultado da extraco manual.
Apesar da eficcia do mtodo anterior ter sido elevada, em casos onde a assinatura se
confundia com o fundo, teve de se recorrer a um mtodo bem menos automtico, sendo
necessrio utilizar uma ferramenta de edio de imagem para extrair o restante fundo
manualmente. Este foi um processo demorado de modo a que a extraco do fundo no
afectasse o contedo da assinatura. O resultado pode comprovar-se na figura 3.4, (b).
42
De referir que devido fraca qualidade das imagens e ineficiente extraco do fundo
em alguns casos, tanto de forma automtica como de forma manual, algumas assinaturas
foram excludas do estudo pois a natureza das mesmas iria afectar de forma negativa os
resultados. Resultou assim num total de 114 assinaturas de Amadeo de Souza-Cardoso e
67 pertencentes a outros pintores. Com as imagens das falsificaes no houve qualquer
problema.
3.2.2 Extraco e Organizao de Caractersticas
Apesar da eficcia dos filtros de Gabor em inmeros trabalhos de investigao anterio-

res, neste problema no foi a soluo mais eficaz, como se pode constatar da experin-
cia realizada e descrita mais frente. Isto porque o Gabor aplica um banco de filtros
imagem, captando as direces que se destacam. Devido ao facto das assinaturas apre-
sentarem uma translao, rotao, mudana de escala e variao na geometria local em
todas as imagens, o Gabor no seria to eficaz a captar as caractersticas das assinaturas
de Amadeo. Assim, devido invarincia das SIFT aos quatro factores apresentados an-
teriormente, optou-se por utilizar este tipo de caractersticas. O mtodo SIFT foi relatado
na seco 2.2.1, podendo observar-se um exemplo do contedo extrado na figura 3.5, (a).
Figura 3.5: Extraco de caractersticas. (a) Pontos de interesse SIFT. (b) Aplicao dos
filtros de Gabor.
Contudo um problema surgiu ao optar por este tipo de caractersticas. A utilizao do

Gabor permite obter um conjunto de caractersticas globais para cada imagem, contudo
a utilizao das SIFT extrai um conjunto de caractersticas locais imagem, sendo cada
uma delas representada por um vector de 128 valores. Por norma, as imagens utilizadas
apresentam em mdia 600 pontos de interesse. Surgiu assim a necessidade de transfor-
mar o conjunto de medidas locais numa medida global para cada imagem de modo a
facilitar o processo de comparao de imagens. Optou-se assim por uma tcnica j refe-
rida anteriormente designada por Bag-of-Features, que indica o nmero de ocorrncias
de "palavras" visuais pertencendo a um vocabulrio.
Considerando uma base de dados composta por K imagens BD = {I1 , ..., IK } e um
vocabulrio Vp = {p1 , ..., pN } de N "palavras" extradas da base de dados, a Bag-of-
Features para uma imagem Ij representada pelo histograma que conta as ocorrncias,
43
Pt,j de cada palavra pt na imagem Ij ,
N
X 1
xj (t) = Pi,j (t i) (3.1)
i=0
onde (t) a funo de impulso unitrio.

O vocabulrio de palavras visuais Vp obtido da seguinte forma:
1. Extraem-se as caractersticas utilizando a tcnica SIFT, tendo resultado num con-
junto mdio de 600 pontos de interesse por cada imagem.
2. Integra-se as caractersticas de todas as imagens em estudo numa nica estrutura

de dados, aplicando-se depois o mtodo K-Means com um determinado nmero
de clusters que vai representar o nmero de palavras visuais. O centride de cada
um dos clusters constitui cada uma das "palavras" visuais (figura 3.6).
Figura 3.6: Esquema de construo do vocabulrio de "palavras" visuais [FFLT].
Aps a construo do vocabulrio necessrio encontrar o histograma de ocorrncias

para cada imagem. Para cada imagem, a distncia Euclidiana entre cada vector de carac-
tersticas e o vocabulrio Vp calculada. Se a distncia for menor do que um threshold
definido, ento a ocorrncia de pt incrementada para a imagem Ij .
Aps calculado o histograma para cada uma das imagens, necessrio normalizar
o mesmo, utilizando a tcnica Term FrequencyInverse Document Frequency (TF-IDF)
[PS03]. Em resumo, esta tcnica traduz-se num valor numrico que reflecte o quanto im-
portante uma "palavra" para a base de dados. baseada na contagem do nmero de
documentos numa coleco que contm uma determinada "palavra" a pesquisar. Quando
uma determinada "palavra" a pesquisar ocorre em muitos documentos (neste caso ima-
gens) ento no um bom discriminador, e deve ser-lhe atribuda menos peso do que
uma "palavra" que aparece num conjunto pequeno de documentos.
Com a representao da Bag-of-Features cada imagem I representada por um his-
tograma de ocorrncias de palavras:
hi = [P1,i , P2,i , ..., PN t,i ]T (3.2)
44
e para normalizar os vectores, aplicado o TF-IDF:
Nt,j K
Pt,j = P log (3.3)
Nt,j nt
onde nt representa o nmero de imagens onde a "palavra" visual t est presente e Nt,j
o nmero de ocorrncias do termo t na imagem j.
Apesar do Gabor no ter sido utilizado como caracterstica principal, utilizou-se o
Gabor para demonstrar o que foi referido no incio desta seco, o facto de no caso em
estudo a tcnica SIFT permitir obter resultados mais significativos do que o Gabor. O
Gabor foi utilizado recorrendo a um banco de 24 filtros, com 4 escalas diferentes e 6 rota-
es, sendo que as caractersticas de textura representadas pelo Gabor traduzem-se num
vector de 48 valores. A utilizao deste tipo de caractersticas pressups uma aborda-
gem global, sendo os filtros utilizados com o mesmo tamanho das imagens. No captulo
2.2.2, foi relatado o funcionamento deste tipo de caractersticas, podendo observar-se um
exemplo do tipo de informao extrada na imagem 3.5, (b).
3.2.3 Identificao de Perodos Artsticos

Esta seco relata um dos primeiros objectivos da dissertao, sendo este considerado um
objectivo secundrio no mbito da anlise de assinaturas. Com vista a desvendar ainda
mais pormenores sobre a vida de um pintor, seria vantajoso possuir uma ferramenta que
pudesse identificar perodos artsticos na vida de um pintor atravs da anlise das carac-
tersticas das assinaturas. A utilizao de determinado padro de assinatura pode ser a
marca de um pintor aquando da estadia num determinado pas, a identificao de uma
fase com um determinado estilo de pintura ou uma marca para identificar determinadas
pinturas mais importantes.
Ao nvel do estado da arte no foi possvel identificar uma quantidade de trabalhos
significativa que efectuasse o agrupamento de imagens de acordo com as suas caracte-
rsticas visuais. Contudo, o trabalho apresentado em [ANP07] efectua um agrupamento
baseado em caractersticas de faces atravs de um conjunto de medidas aplicas s carac-
tersticas SIFT.
Assim, procedeu-se no sentido de desenvolver um mtodo, independente do artista
em estudo, que permitisse efectuar um agrupamento de assinaturas baseado em carac-
tersticas visuais semelhantes. Este agrupamento poderia extender-se ao longo de vrios
nveis de modo a encontrar sub-perodos, sendo assim o agrupamento hierrquico efec-
tuado de uma forma menos automtica. A figura 3.7 contm um diagrama de blocos
demonstrando a estrutura da ferramenta.
Para que o agrupamento fosse efectuado de forma a agrupar caractersticas visuais
semelhantes, procedeu-se em primeiro lugar ao pr-processamento dos dados tal como
j foi explicado anteriormente e depois extraco de caractersticas. A tcnica SIFT ti-
nha a limitao de extrair um conjunto de caractersticas locais, havendo necessidade de
encontrar uma medida global para cada imagem, de modo a que o agrupamento fosse
45
efectuado ao nvel da imagem. Recorreu-se assim estratgia Bag-of-Features para cons-

truir um descritor global para cada imagem, sendo esses os dados de entrada do mtodo
de clustering.
Figura 3.7: Diagrama de blocos do mtodo de agrupamento de assinaturas.
O agrupamento pode ser efectuado de forma hierrquica de modo a encontrar sub-

perodos dentro de perodos mais gerais. Assim no primeiro nvel de agrupamento, para
todas as imagens de entrada no algoritmo constri-se a respectiva bag, seguindo-se um
mtodo que efectua o agrupamento com base na informao de entrada. Para agrupa-
mento de padres, optou-se pela utilizao do mtodo K-Means conjugado com a dis-
tncia Euclidiana devido sua eficcia no agrupamento de informao com padres se-
melhantes. Assim, imagens com uma configurao semelhante da respectiva bag iriam
ser agrupadas no mesmo cluster.
O mtodo K-Means utilizado para agrupamento de padres, sendo um problema
computacional difcil. Dado um conjunto de observaes (x1 , x2 , ..., xN ) onde cada ob-
servao um vector de valores reais, este mtodo agrupa as N observaes em k con-
juntos (k N ) S = {S1 , S2 , ..., Sk } de modo que em cada conjunto a soma da distncia
ao quadrado seja minimizada,
k X
X
arg min || xj i k2 (3.4)
s
i=1 xj Si
onde xj representa cada um dos pontos presentes no cluster i e i representa o cen-

tride do cluster i.
O incio do algoritmo requer a definio de um conjunto de dados para formao
inicial dos clusters. Em grande parte das implementaes do mtodo, os clusters iniciais
so encontrados aleatoriamente, contudo o resultado do algoritmo dependeria sempre
da escolha aleatria. Neste caso considerou-se que os primeiros dados at ao nmero
de clusters formariam os clusters iniciais, no havendo assim aleatoriedade. Em seguida
segue-se um conjunto de iteraes, em que cada imagem atribuda ao cluster com o
qual mais se assemelha, procedendo-se ento actualizao de cada um dos centrides
de cada cluster.
Contudo existe um problema relativamente utilizao do K-Means que o facto de
ser necessrio indicar o nmero de clusters em que se pretende agrupar os dados. Na
soluo implementada optou-se por ser o utilizador o principal responsvel por definir o
nmero de parties que pretende. Uma das formas de avaliar a distribuio dos dados
46
pelos vrios clusters a utilizao do ndice de Silhouette [KR05], sendo este clculo indi-
cativo se o nmero de clusters o mais adequado para a partio dos dados encontrada.
Aps a aplicao do K-Means no primeiro nvel obtm-se ento a distribuio mais
geral de assinaturas pelos vrios clusters indicados. Terminado o primeiro nvel de agru-
pamento, o utilizador pode prosseguir a sua anlise tentando encontrar sub-perodos,
seguindo-se o segundo nvel de agrupamento. Aps a seleco de um dos clusters ante-
riormente obtidos, repete-se o processo de construo da Bag-of-Features apenas com as
imagens agrupadas nesse cluster no primeiro nvel. A reconstruo da Bag-of-Features no
novo nvel de agrupamento surge devido ao facto do vocabulrio de "palavras" visuais
para este subconjunto de imagens ser diferente do vocabulrio inicialmente calculado.
Isto porque no primeiro nvel, o vocabulrio de "palavras" visuais foi construdo com
base em todas as imagens do conjunto de dados de entrada no algoritmo. Neste segundo
nvel, o vocabulrio de "palavras" no dever ser o mesmo pois apenas se pretende agru-
par um conjunto restrito de imagens, da o vocabulrio e o peso de cada um das palavras
do vocabulrio no ser o mesmo que no incio do algoritmo. Por esta razo procede-se
aplicao da estratgia Bag-of-Features apenas s imagens contidas no cluster que se
pretende analisar.
ento aplicado de novo o mtodo K-Means para agrupamento dessas imagens,
obtendo-se um conjunto de sub-perodos. Este processo poderia continuar por vrios
nveis, contudo na soluo apresentada apenas foram contemplados 2 nveis de agrupa-
mento, estando preparado para ser extensvel a mais nveis no futuro.
A construo de um mtodo de agrupamento hierrquico menos automtico face s
implementaes hierarquical clustering que j existem prende-se com a maior liberdade
do utilizador, ficando a seu cargo decidir quando a anlise deve prosseguir para um
determinado cluster ou no, algo que no controlado no mtodo hierarquical clustering
j existente. No captulo seguinte sero apresentados alguns resultados decorrentes da
aplicao da ferramenta.
3.2.4 Classificao de Pinturas Baseada em Caractersticas das Assinaturas
Um dos objectivos principais da dissertao era construir um classificador que permitisse

classificar pinturas em termos da sua autoria de acordo com as caractersticas visuais das
assinaturas contidas nas mesmas. Assim, o classificador construdo deveria etiquetar
cada imagem de entrada com uma etiqueta indicando se pertence ao pintor em estudo,
podendo tratar-se de uma assinatura de outro pintor ou at mesmo de uma falsificao.
No futuro, ao surgirem novas assinaturas para estudo, podero ento ser submetidas
ao classificador j construdo e a este poder ajudar a decidir com alguma certeza se
as assinaturas pertencem ao pintor em estudo para o qual classificador foi treinado. O
diagrama de blocos do mtodo de classificao encontra-se na figura 3.8.
A classificao pode ser baseada em vrios tipos de caractersticas. Tal como refe-
rido, optou-se por utilizar a tcnica SIFT devido sua eficcia face s caractersticas das
47
assinaturas, sendo estas organizadas utilizando a tcnica Bag-of-Features.
Figura 3.8: Diagrama de blocos do mtodo de classificao de assinaturas.
Como algoritmo de classificao utilizou-se um classificador binrio designado por

Regularized Least Squares Classifier (RLSC) [PS03], uma verso simplificada das Support
Vector Machines (SVM) [Wah99] e cujos resultados so equivalentes [RYP03]. Descreve-
se em seguida o processo de classificao. Dado um conjunto de treino Tn = {(vi , xi )ni=1 }
onde as etiquetas xi tomam os valores {1, 1} e vi o vector de caractersticas da imagem.
O RLSC encontra uma fronteira de deciso entre duas classes, por norma uma positiva e
uma negativa, sendo esta obtida pela funo discriminante,
n
X
f (v) = ci K(vi , v) (3.5)
i=1
kvvi k2
onde K(vi , v) representa o Kernel Gaussiano K(vi , v) = e 2 2 , n o nmero de
pontos no treino e c = [c1 , ..., cn ]T o vector de coeficientes estimado pelo mtodo dos
mnimos quadrados [PS03],
(nI + M )c = x (3.6)
onde I a matriz identidade, M uma matriz quadrada definida positiva com os

elementos Ki,j = K(vi , vj ), x um vector com as coordenadas xi e um parmetro de
regularizao. Os valores ptimos de e foram obtidos atravs de validao cruzada.
Por fim, para cada imagem contida no conjunto de teste, representada pela histo-
grama de palavras visuais (Bag-of-Features) vi , se f (vi ) 0 ento a assinatura etique-
tada como pertencente classe negativa, ou seja, por exemplo "No Amadeo" (xi = 1).
Caso contrrio se f (vi ) > 0, ento a assinatura etiquetada como pertencente classe
positiva, ou seja, pertencente classe "Amadeo" por exemplo (xi = 1).
A construo deste classificador recebe como entrada um conjunto de imagens de as-
sinaturas, sendo uma parte pertencente ao pintor sobre o qual se pretende construir o
classificador e outra no pertencendo ao pintor. Selecciona-se um conjunto de imagens
para treinar o classificador, sendo obrigatoriamente uma parte dessas imagens pertencen-
tes ao pintor e outra parte no pertencente. As restantes imagens que no esto includas
no treino so ento utilizadas para teste de classificador e avaliao do seu desempenho.
Com o classificador construdo, possvel introduzir novas imagens de assinaturas
48
3. A NLISE DE O BRAS DE A RTE 3.3. Classificao de Pinturas Baseada em Caractersticas de Pincelada
no classificador de modo a obter a sua classificao com um determinado grau de cer-

teza. Este classificador pode ser utilizado para verificao de autenticidade em que as
assinaturas positivas pertencem a um pintor em estudo e as assinaturas negativas cons-
tituem falsificaes de assinaturas do pintor. Pode tambm ser utilizado para atribuio
do artista, em que as assinaturas positivas so assinaturas pertencentes ao pintor em es-
tudo e as assinaturas negativas pertencem a outros pintores, designando o classificador
se uma determinada assinatura pertence ao pintor em estudo ou no. Isto constitui assim
um ferramenta importante para verificao de autenticidade e atribuio do artista base-
ada nas caractersticas existentes nas assinaturas. Os resultados obtidos utilizando este
classificador, mas com diversas configuraes de imagens de entrada, sero descritas no
captulo seguinte.
3.3 Classificao de Pinturas Baseada em Caractersticas de Pin-

celada
Anteriormente no mbito do projecto em que a dissertao se realiza j havia sido cons-
trudo um classificador que resolvia o problema da atribuio de pinturas baseada nas
caractersticas da pincelada do artista. Esse trabalho encontra-se relatado em [MJC+ 12],
tendo sido obtido resultados significativos.
A forma, a orientao e a distribuio das pinceladas so marcas distintivas deixa-
das pelo artista na superfcie da pintura. O classificador construdo capta isso mesmo,
as caractersticas da pincelada, sendo a atribuio do artista feita a partir da. Com o ob-
jectivo da construo de um classificador combinado de pinturas, foi necessrio voltar a
construir este classificador a fim de integrao final com o classificador de assinaturas.
Figura 3.9: Pontos de interesse extrados utilizando a tcnica SIFT numa pintura de Ama-
deo.
A estrutura deste classificador segue a mesma estrutura do classificador de assina-

turas (ver figura 3.8). As caractersticas das pinturas so extradas utilizando a tcnica
49
3. A NLISE DE O BRAS DE A RTE 3.4. Mapeamento de Materiais
SIFT (ver figura 3.9), sendo depois organizadas utilizando a estratgia Bag-of-Features,
resultando assim num vector de caractersticas para cada imagem. Esses vectores de
caractersticas constituem os dados de entrada do classificador, tendo sido neste caso
tambm utilizado o Regularized Least Squares Classifier (RLSC), semelhana do caso
anterior. No trabalho descrito testaram-se vrias configuraes para o nmero de ima-
gens no treino e no teste, assim como tambm vrios tipos de caractersticas extradas.
No mbito da dissertao esse estudo no era relevante, tendo sido dada especial aten-
o apenas aos resultados finais do classificador com vista construo do classificador
combinado.
3.4 Mapeamento de Materiais
Esta seco relata todo o trabalho realizado no mbito do mapeamento de materiais. O

objectivo era construir uma ou mais ferramentas que permitissem mapear os materiais
existentes numa pintura recorrendo a anlise de uma imagem hiperespectral. Aplicaram-
se vrios mtodos para efectuar o respectivo mapeamento, contudo devido ao facto de
no ser possvel atingir alguns dos objectivos considerados como fundamentais (ver sec-
o 2.5.2) acabaram por ser preteridos. A visualizao de imagens hiperespectrais utili-
zando o PCA tem sido utilizada em inmeros trabalhos anteriores, mas devido ao facto
de no permitir uma visualizao consistente ao analisar vrias imagens no se consi-
derou a aplicao deste mtodo. Descrevem-se em seguida quatro mtodos construdos
para efectuar o respectivo mapeamento.
3.4.1 Organizao e Pr-Processamento dos Dados
Inicialmente os dados consistiam em quatro imagens hiperespectrais: duas de quadros

autnticos de Amadeo de Souza-Cardoso e duas de pinturas falsificadas do mesmo pin-
tor. Os mtodos desenvolvidos incidiram principalmente sobre estas quatro pinturas em-
bora tenham surgido, na parte final da dissertao, mais cinco imagens hiperespectrais
de pinturas autnticas do pintor.
A imagem hiperespectral constituda por uma sequncia de 33 imagens de uma
dada cena (neste caso, uma cena constituda por um quadro autntico de Amadeo de
Souza-Cardoso ou por uma pintura falsificada do mesmo pintor), correspondentes a di-
ferentes bandas espectrais, de 10 nm de intervalo, na gama de frequncias entre 400 nm e
720 nm (ver figura 3.10). A cmara utilizada possui uma resoluo de 1344 x 1024 pixels,
existindo para cada pixel um espectro de reflectncia, constitudo pela amostragem na
cena de uma zona em 33 comprimentos de onda.
Antes de iniciar o processo de mapeamento dos materiais foi necessrio efectuar um
tratamento da imagem para eliminar a moldura e a estrutura onde esta estava colocada
a pintura. Isto devido ao facto do contedo das imagens hiperespectrais no se cingir
apenas ao contedo da pintura, mas conter tambm elementos pertencentes estrutura
50
onde a pintura estava colocada.
Figura 3.10: Organizao da imagem hiperespectral.
Para que a anlise se cingisse apenas ao contedo da pintura procedeu-se ao corte da

imagem hiperespectral de modo a eliminar as zonas que pertenciam estrutura onde a
pintura estava alojada (exemplo na figura 3.11).
Figura 3.11: Pr-Processamento das imagens hiperespectrais. (a) Imagem original. (b)
Imagem recortada.
3.4.2 Mapeamento de Materiais Atravs de Classificao Supervisionada
O mapeamento de materiais atravs de classificao supervisionada assenta na definio

de uma base de dados de referncia construda a partir da imagem hiperespectral em
anlise, sendo a classificao directamente dependente do contedo dessa base de dados
(ver seco 2.5.5). Este processo consiste em trs fases: construo da base de dados,
algoritmo de classificao e visualizao dos resultados.
51
3.4.2.1 Construo da Base de Dados de Referncia
A classificao supervisionada surge quando a base de dados de espectros de referncia

construda atravs de amostragem da imagem hiperespectral em estudo (figura 3.12).
Por norma a definio da base de dados efectuada por peritos.
Figura 3.12: Processo de construo da base de dados de referncia
No caso da ferramenta construda, o utilizador deve seleccionar um conjunto de pon-

tos na imagem hiperespectral sobre os quais iro ser recolhidas as amostras. A escolha
destes pontos deve garantir que numa rea quadrada de 13x13 pixels no existe outro
material diferente.
Figura 3.13: Exemplo de variabilidade de um material ao longo de uma mesma superf-

cie. A preto o espectro mdio calculado.
Para cada ponto escolhido, define-se uma rea quadrada de 13x13 pixels sua volta
de modo a captar um conjunto de amostras mais significativas para um mesmo mate-
rial. Devido variabilidade do mesmo material ao longo da mesma superfcie (ver figura
3.13), a captao de uma nica amostra poderia conter demasiado rudo e no ser sufici-
entemente representativa do material em questo. Assim, define-se uma rea contendo
52
169 amostras, sendo o espectro de referncia para um dado material calculado atravs da
mdia de todos os espectros da mesma rea. Repete-se este processo para todos os pontos
seleccionados de modo a construir a base de dados de espectros de referncia para cada
um dos materiais seleccionados.
Para efeitos de visualizao, atribui-se um valor (R,G,B) a cada um dos espectros de
referncia de modo a ser possvel construir um output visual onde cada zona da pintura
colorida com a cor do material que lhe foi atribudo atravs do algoritmo de classificao.
3.4.2.2 Algoritmo de Classificao
Com a base de dados de espectros de referncia construda, procede-se classificao.

Em termos de classificao, muitos dos trabalhos de investigao na rea da anlise de
imagens hiperespectrais recorreram ao Spectral Angle Mapper (SAM, ver seco 2.5.5.1)
devido sua eficcia em comparar espectros. Este mtodo invariante a mudanas de
iluminao e no tem em conta os comprimentos de cada um dos espectros. Contudo, por
vezes, determinados problemas podem surgir com a sua utilizao. De uma forma sim-
plificada pode afirmar-se que o SAM efectua comparaes considerando principalmente
a forma dos espectros, ignorando as mudanas de iluminao. A distncia Euclidiana,
uma das mtricas tambm utilizadas na comparao de espectros , contrariamente ao
SAM, sensvel a mudanas na intensidade dos espectros, isto , vrias tonalidades de um
mesmo pigmento podem ser consideradas como pertencentes a pigmentos diferentes.
Figura 3.14: Espectros com forma semelhante mas pertencentes a materiais diferentes (a)
Base de suporte de uma pintura (b) Pigmento cinzento.
Porm, em alguns casos acontece que dois espectros tm a mesma forma, mas um
deles pode ter uma reflectncia maior que o outro, pertencendo a pigmentos diferentes
(ver figura 3.14). No caso do SAM, iria considerar os espectros como pertencendo ao
mesmo material, influenciando negativamente o resultado da classificao. Para colma-
tar este aspecto, construiu-se um mtodo que combina o SAM com a distncia Euclidiana,
suportando-se no mtodo de matching proposto por David Lowe em [Low04] para mat-
ching de keypoints ou pontos de interesse. O algoritmo segue os seguintes passos:
53
1. Calcular o ngulo p,r entre o pixel p da imagem hiperespectral e cada espectro de

referncia r contido na base de dados:

Pn
i=1 Rp,i Rr,i
p,r = cos1 qP , (3.7)
n 2
Pn 2
R
i=1 p,i R
i=1 r,i
onde p,r o ngulo espectral entre o pixel p e o espectro de referncia r, n o

nmero de comprimentos de onda (neste caso, 33), Rp,i o valor de reflectncia do
pixel p no comprimento de onda i e Rr,i o valor de reflectncia para o espectro de
referncia r no comprimento de onda i.
2. Ordenar os vrios ngulos p,r para cada um dos materiais da base de dados por
ordem crescente do ngulo obtido. Se o menor ngulo p,r1 calculado for menor
do que uma percentagem (dx ) do segundo menor ngulo p,r2 (mtodo de matching
proposto por David Lowe, ver equao 3.8), ento o pixel p atribudo ao material
de referncia com menor ngulo (r1 ). No caso da ferramenta construda permitida
alguma flexibilidade neste passo de tal modo que se pode definir um threshold sobre
o ngulo espectral. Se o ngulo mnimo calculado for maior ou igual do que o
threshold, ento o pixel contm um material que no est presente na base de dados
e etiquetado como "Unclassified", enquanto que nos restantes casos etiquetado
com o material de referncia para o qual o ngulo espectral mnimo.
p,r1 < dx p,r2 (3.8)
3. Caso a condio anterior no se verifique, procede-se ao clculo da distncia Eucli-

diana Edp,r para o pixel p e cada um dos espectros de referncia r:
v
u n
uX
Edp,r = t (Rp,i Rr,i )2 (3.9)
i=1
Atribui-se ao pixel p a etiqueta do material de referncia r para o qual se obteve a

menor distncia Euclidiana de entre os presentes na base de dados de espectro de
referncia.
O mtodo de classificao construdo pretende sobretudo eliminar alguns dos casos

onde existem dois ngulos espectrais muito prximos, sugerindo o facto dos espectros
terem formas semelhantes mas um deles ter mais intensidade que outro, algo que pode
no se dever apenas a mudanas de iluminao.
3.4.2.3 Visualizao dos Resultados
A visualizao permite apresentar os resultados num ecr para anlise visual. Aquando
da definio da base de dados de espectros de referncia, o utilizador deve introduzir um
54
valor de RGB para cada um dos espectros de referncia. Para cada pixel teste de entrada
no algoritmo de classificao, este classificado como pertencente ao material com o
espectro de referncia mais prximo de acordo com a tcnica utilizada. Esta classificao
pressupe tambm que a cada pixel atribudo o valor RGB correspondente ao material
com que este foi classificado. O utilizador pode optar pode visualizar todos os pixels de
uma imagem hiperespectral, podendo facilmente identificar zonas com o mesmo material
e pode tambm visualizar apenas todos os pixels classificados como pertencentes a um
determinado material contido na base de dados.
3.4.3 Mapeamento de Materiais Atravs de Classificao No Supervisionada

O mtodo anterior requer a amostragem de um conjunto de pontos para construir a base
de dados de referncia. A amostragem dos pontos influenciar sempre o resultado da
classificao, ficando a cargo do utilizador a escolha dos mesmos. Apesar da eficcia
do mtodo anterior, o factor descrito pode consistir uma limitao para os utilizadores.
Para colmatar esta limitao procedeu-se no sentido de desenvolver um mtodo mais
automtico de classificao no supervisionada. Esta classificao apresenta duas fases:
algoritmo de clustering (que por si acaba por efectuar tambm a respectiva classificao)
e visualizao dos resultados.
3.4.3.1 Algoritmo de Clustering
A classificao efectuada de forma automtica atravs da utilizao de um algoritmo de

clustering, neste caso o K-Means combinado com o Spectral Angle Mapper. O algoritmo
de classificao segue os seguintes passos:
1. Seleco de k pixels da imagem hiperespectral que iro ser utilizados como centri-
des iniciais dos k clusters.
2. Calcular o ngulo espectral p,c entre o pixel p e a mdia de cada cluster c :

Pn
R
p,i c,i
p,c = cos1 qP i=1 P , (3.10)
n 2 n 2
i=1 Rp,i i=1 c,i
3. Para cada pixel p, encontra-se o cluster c de tal modo que p,c mnimo e atribui-se
o pixel a esse cluster.
4. Recalcular o centride (ou mdia) do cluster,

PN
j=1 xj,i,c
c,i = (3.11)
N
onde c,i o valor mdio do cluster c no comprimento de onda i, N o nmero de

pixels no cluster c e xj,i,c o valor do pixel j no comprimento de onda i no cluster c.
55
5. Repetir os 3 passos anteriores at as iteraes atingirem um threshold de convergn-

cia. Quando esse threshold for atingido, a classificao termina.
Mais um vez, com a utilizao do K-Means surge a desvantagem de se ter de indicar o

nmero de clusters, ficando a sua indicao a cargo do utilizador.
3.4.3.2 Visualizao dos Resultados
A classificao agrupa conjuntos de pixels semelhantes, contudo com esta abordagem

surge um problema. No existe forma a priori de identificar o que modela cada um dos
clusters encontrados, sendo difcil atribuir uma cor a cada um dos clusters que permita vi-
sualizar os materiais de uma forma apropriada. Existem duas alternativas para construir
uma visualizao consistente a partir desta abordagem:
A primeira consiste em projectar cada um dos centrides de cada cluster numa base
de dados de espectros de referncia. Utilizando o Spectral Angle Mapper, calcula-
se o ngulo espectral entre cada cluster e cada um dos espectros da base de dados
de referncia. O espectro mais prximo atribudo ao cluster em teste. Esta tcnica
foi utilizada em dois trabalhados anteriores (em [SMG99, SR02]), contudo torna
todo o processo menos automtico pois necessrio definir uma base de dados de
espectros de referncia.
A segunda alternativa consiste em calcular a cor de um conjunto de pixels a partir do

centride de cada cluster e atribui-se essa mesma cor a todos os pixels desse mesmo
cluster. Isto possvel atravs da escolha de um iluminante (D65), retirando-se
primeiramente do espectro as componentes no espao XYZ e depois convertendo-
se essas componentes para RGB1 . Esta foi a opo utilizada, permitindo assim ter
um mtodo automtico para mapeamento de materiais, podendo at efectuar-se
um estudo de quais os materiais que se realam medida que o nmero de clusters
aumenta.
3.4.4 Mapeamento de Materiais Atravs de Classificao com Base de Dados

Externa
Os dois mtodos anteriores efectuam o mapeamento recorrendo apenas ao contedo da

imagem hiperespectral. No entanto, o mapeamento de materiais pode tambm ser efec-
tuado recorrendo a informao externa, como o caso do Fiber-Optic Reflection Spectro-
meter (FORS)2 , pois este fornece informao com um sinal semelhante cmara hiperes-
pectral e que pode ser integrada. Construram-se assim dois mtodos que incorporavam
1
http://personalpages.manchester.ac.uk/staff/david.foster/Tutorial_HSI2RGB/Tutorial_HSI2RGB.html
2
Trata-se de uma tcnica no-invasiva que permite efectuar medies em objectos. Cada medio pon-
tual resulta na espectroscopia reflectida na regio do visvel, isto , tomando a utilizao mais usual, nor-
malmente pinturas, o resultado um espectro de reflectncia que fornece informao acerca do pigmento
utilizado ou da anlise colorimtrica (http://fors.ifac.cnr.it).
56
a informao obtida com esta tcnica, sendo que o segundo efectua uma anlise mais
aprofundada recorrendo a outros tipos de informao.
3.4.4.1 Mapeamento de Materiais Atravs de Informao FORS
No estudo de obras de arte por peritos com recursos na rea da anlise qumica, estes
recorrem normalmente a uma anlise utilizando a tcnica FORS a fim de analisar com
mais detalhe determinadas zonas da pintura. Todavia esta anlise feita pontualmente
em determinados pontos do quadro, o que no resulta numa anlise global do mesmo.
Esta informao pontual pode assim ser utilizada para efectuar o mapeamento de materi-
ais, semelhana do trabalho descrito em [DZT+ 10]. O mtodo construdo assemelha-se
ao mapeamento de materiais atravs de classificao supervisionada descrito anterior-
mente em 3.4.2, apenas com a nica diferena ao nvel da construo de base de dados
de espectros de referncia.
Construo da Base de Dados e Classificao Neste caso, a base de dados definida

a partir de amostras do prprio quadro mas a informao adquirida com uma tcnica
diferente, a FORS. A anlise FORS efectuada por peritos, sendo efectuada em pontos
especficos da pintura, no eliminando a variabilidade de um material ao longo de uma
mesma superfcie. Esta anlise dependente de cada pintura pois cada pintura possui a
sua anlise FORS nica. No mbito da dissertao, existia a anlise FORS apenas para
as duas pinturas falsificadas, existindo em alguns casos vrias anlises pontuais para um
mesmo material. Nesses casos, com a ajuda de um perito para construir a base de dados,
para cada material calculou-se o espectro mdio das anlises pontuais existentes para
esse mesmo material, tentando assim eliminar a variabilidade de um mesmo material ao
longo da pintura.
Aps a definio da base de dados, procedeu-se classificao e visualizao dos
resultados, sendo ambos os processos idnticos classificao supervisionada (ver seco
3.4.2).
3.4.4.2 Mapeamento de Materiais com Anlise de Misturas e Validao de Autentici-

dade
Para as pinturas verdadeiras de Amadeo de Souza-Cardoso para as quais havia sido

construda uma imagem hiperespectral no havia qualquer anlise FORS sobre estas pin-
turas. Isto levou a um obstculo, o mtodo anterior no poderia ser aplicado pois no
havia uma base de dados externa de espectros de referncia. Porm, a fim de ultrapassar
este obstculo obteve-se uma base de dados de espectros amostrada a partir da paleta
do pintor (figura 3.15), ou seja, dos materiais puros que este utilizou. Na pintura os
materiais no aparecem apenas no seu estado puro devido a vrios factores: mistura de
pigmentos, sobreposio de camadas pictricas, presena da camada de preparao, en-
tre outros factores. Esta base de dados poderia ser uma base de dados geral a todas as
57
pinturas deste pintor, contudo a presena apenas de materiais puros iria condicionar os
resultados, esperando-se uma classificao pouco assertiva.
Figura 3.15: Paleta de tintas do pintor Amadeo de Souza-Cardoso.
Face aos factos anteriores caminhou-se no sentido de se efectuar um mapeamento de

materiais complementando com uma anlise de misturas de pigmentos a partir da base
de dados de materiais puros, tentando tambm efectuar a verificao de autenticidade de
zonas da pintura. Vrios trabalhos de investigao incidiram sobre um mtodo de anlise
de misturas designado por Spectral Mixture Analysis [DHR04], contudo este mtodo
incide principalmente sobre a resoluo dos pixels contidos na imagem hiperespectral e
o facto de um pixel poder conter vrios materiais com espectros diferentes, o que resulta
num espectro anormal para esse pixel. Este mtodo obriga tambm que todos os pixels
sejam automaticamente considerados uma mistura de materiais, o que neste caso no
seria correcto afirmar pois existem zonas das pinturas onde se podem encontrar apenas
materiais puros.
Dados de Suporte ao Algoritmo Aps vrios testes efectuados com as mtricas anteri-
ores verificou-se no ser possvel identificar correctamente grande parte dos pigmentos
puros presentes nas pinturas. Isto devido diferena apresentada entre os espectros
puros da base de dados de referncia e os espectros presentes na pintura, algo que era
considervel tendo em conta as condies de rudo e iluminao, assim como a presena
de vernizes aplicados sobre as pinturas. Este facto condicionou a abordagem do pro-
blema pois era expectvel que fosse possvel efectuar a anlise de pinturas de Amadeo
de Souza-Cardoso a partir desta base de dados de referncia. Face aos obstculos encon-
trados foi necessrio combinar vrios tipos de informao num esquema de classificao
combinada semelhante a um fluxograma de deciso (ver figura 3.16).
Para dar suporte ao fluxograma de deciso construdo, teve de ser fornecido um
conjunto de informao complementar alm da imagem hiperespectral de uma pintura.
Apresenta-se em seguida os vrios dados necessrios e respectiva notao matemtica
definida para cada tipo de modo a descrever o algoritmo matematicamente:
Em primeiro lugar foi necessrio calcular a cor na norma CIELab para cada um dos
pixels da imagem hiperespectral. Para um determinado pixel i da imagem hiperes-
pectral considere-se a notao Labi a sua cor na norma CIELab.
58
Figura 3.16: Fluxograma de deciso construdo para classificao.
Alm da cor de cada pixel foi tambm necessrio fornecer a base de dados de espec-
tros puros adquiridos com a tcnica FORS num conjunto de amostras dos tubos de
tinta pertencentes ao pintor (figura 3.15), sendo esta constituda por 17 pigmentos
(cuja designao habitual a seguinte: Red Vermillion, Red Carmine, Raw Sienna,
Terra Rossa, Orange Cd, Yellow Ochre, Yellow Cr, Violet, Cerulean Blue, Cobalt
Blue, Prussian Blue, Green Cd, Viridian, Ultramarine, White, Black e Esmerald).
Essa base dados representada pela notao
Pes = {es1 , es2 , ..., esN } (3.12)
onde esN representa o espectro de cada um dos materiais puros contidos na base
de dados, N o nmero de materiais puros na base de dados e Pes representa a
base de dados ou conjunto de espectros contidos na mesma. Para complementar a
informao dos espectros puros, forneceu-se tambm para cada material puro uma
lista dos elementos qumicos presentes (ver 6.1) sendo designada por,
Pel = {el1 , el2 , ..., elN } (3.13)
onde elN = {sq1 , sq2 , ..., sqK } representa a lista de K elementos qumicos de cada
um dos materiais puros contidos na base de dados, N o nmero de materiais
puros na base de dados e Pel representa a base de dados ou conjunto de listas de
elementos qumicos contidos na mesma.
59
Por fim, de modo a colmatar as fragilidades da tcnica FORS e tirando partido

das vantagens de uma outra tcnica, utilizou-se um conjunto de amostras pontuais
EDXRF (Energy Dispersive X-Ray Fluorescence)3 captadas na superfcie da pintura
e para cada amostra, a cor respectiva na norma CIELab do ponto onde a amostra foi
adquirida (ver figura 3.17). Normalmente uma amostra EDXRF caracteriza-se por
um espectro que indica os elementos presentes atravs de uma anlise mais com-
pleta, contudo o facto de se trabalhar com o prprio espectro apresentaria algumas
limitaes quando uma pintura possui uma camada de preparao, o que adici-
ona a cada amostra elementos estranhos aos pigmentos em estudo. Assim, invs
de se utilizar o prprio espectro, utilizou-se apenas a lista de elementos qumicos
presentes para cada amostra, o que permite integrar vrios tipos de informao.
Figura 3.17: Anlise pontual EDXRF efectuada na pintura Mucha
Considere-se a seguinte notao para representar este tipo de dados,
XRFel = {el1 , el2 , ..., elM } (3.14)
onde elM = {sq1 , sq2 , ..., sqK } representa a lista de K elementos qumicos para cada
uma das amostras EDXRF efectuadas na pintura, M o nmero total de amostras
EDXRF e XRFel representa a base de dados de amostras. Alm da lista de elemen-
tos qumicos para cada amostra, forneceu-se tambm a cor na norma CIELab para
cada amostra. Considere-se a seguinte notao,
XRFlab = {xlab1 , xlab2 , ..., xlabM } (3.15)
onde xlab1 representa a cor na norma CIELab para cada uma das amostras EDXRF
efectuadas na pintura, M o nmero total de amostras EDXRF e XRFlab representa
3
Trata-se de uma tcnica analtica utilizada para anlise elementar ou caracterizao qumica de uma
amostra. Baseia-se na anlise da interaco entre algumas fontes de raios-X e uma amostra. Esta interaco
produz um espectro que atravs da anlise dos vrios picos do mesmo permite identificar os elementos
qumicos que a amostra contm.
60
a base de dados de cor das amostras. Neste ponto, e para evitar futuros erros de
classificao, tambm necessrio indicar as amostras de cor correspondentes ao
pigmentos branco Brnlab e as amostras correspondentes ao preto P rtlab .
Metodologia de Classificao A classificao assenta no fluxograma de deciso apre-

sentado na figura 3.16. Descreve-se em seguida cada um dos passos da classificao de
forma pormenorizada, recorrendo sempre que possvel a notao matemtica para os
descrever:
1. Um dos primeiros problemas encontrados foi o facto da anlise EDXRF ser uma
anlise pontual na pintura, o que impossibilitava o facto de se ter uma anlise por
pixel. Para tornar esta anlise global a toda a pintura, recorreu-se a algumas das
tcnicas utilizadas por historiadores e conservadores para tornar a anlise global,
intervalos de tolerncia de cor. Isto , para cada amostra EDXRF existia tambm a
respectiva amostra de cor na norma CIELab. Definindo um intervalo em que a cor
poder ser a mesma que a cor dessa amostra, todos os pixels cuja cor esteja dentro
desse intervalo de tolerncia de cor so considerados como pertencentes amostra
respectiva, generalizando assim cada amostra a conjuntos de pixels (ver figura 3.18).
Figura 3.18: Segmentao atravs de intervalos de tolerncia de cor. (a) Ponto na pintura
onde foi efectuada a amostra. (b) A branco todos os pixels identificados como pertencen-
tes amostra.
Cada pixel da imagem hiperespectral classificado individualmente, resultando

numa determinada designao para o mesmo. O algoritmo comea por identifi-
car para o pixel teste i qual ou quais as amostras EDXRF correspondentes em que
a cor a mesma segundo as condies anteriores. A condio simplificada, pois a
norma CIELab tem trs componentes, a seguinte,
x XRFlab : Labi (x c) Labi (x + c) (3.16)
onde a condio se deve verificar para as trs componentes da norma CIELab e

onde c uma constante definida como margem do intervalo de tolerncia de cor.
61
Se existir uma ou mais amostras que verifiquem a condio, ento obtm-se um

conjunto de amostras sendo designado por Melem (listas de elementos qumicos) e
Mlab (amostras de cor) que representam o subconjunto de amostras identificadas
com os intervalos de tolerncia de cor. Aps essa identificao, a classificao
dividida nos seguintes passos:
(a) Se no for encontrada nenhuma amostra dentro do intervalo de tolerncia de

cor estabelecido, isto , que no verifique a condio descrita em 3.16, ento o
pixel imediatamente classificado como pertencente a uma zona onde no foi
efectuada qualquer anlise EDXRF, sendo designado como "Zona No Anali-
sada" e terminando o processo de classificao para esse pixel (ver exemplo na
figura 3.19, c).
Outi = ZonaN aoAnalisada (3.17)
(b) Caso no seja identificado como uma zona no analisada, atravs do conhe-
cimento das amostras de pigmento preto e branco efectuadas na pintura
possvel identificar se o pixel pertence a algum destes materiais. A identifi-
cao destes dois materiais surge numa fase inicial da classificao pela razo
que na identificao dos pixels pertencentes aos materiais puros, essa ser feita
com recurso primeira derivada aplicada a cada um dos espectros. Como
os espectros dos pigmentos preto e branco apresentam zonas horizontais, isto
seria um problema computacional pois iriam surgir divises por zero no cl-
culo das derivadas e muitos erros associados classificao, da a identificao
dos pixels pertencentes a estes dois materiais num passo inicial do algoritmo
(ver exemplo na figura 3.19, (a) e (b)). O resultado descrito pelas condies
seguintes:
x Mlab : x Brnlab = Outi = P igmentoBranco (3.18)
x Mlab : x P rtlab = Outi = P igmentoP reto (3.19)
(c) Neste primeiro nvel de classificao surge ainda a condio para verificao
de autenticidade, sendo esta efectuada com recurso informao fornecida
pela anlise EDXRF. A condio para que um pixel de uma pintura no per-
tena a um material de Amadeo determinada pela presena de elementos
caractersticos de Amadeo. Isto , para o pixel em anlise identificam-se todas
as amostras correspondentes pelo intervalo de tolerncia de cor Melem . Para
cada lista de elementos de cada amostra, percorrem-se todos os pigmentos
puros da base de dados Pes e procuram-se esses elementos em cada uma das
listas individuais dos materiais puros. Caso haja um elemento contido numa
62
das amostras que no esteja contido em nenhuma das listagens de elementos

dos materiais puros, ento o pixel automaticamente classificado como "No
Amadeo". Por exemplo, considere que uma amostra contm o elemento "Ti-
tnio" (Ti) 4 , comparando com as listagens de elementos dos materiais puros
(ver 6.1) verifica-se no existir o elemento Titnio em nenhuma delas, logo
neste caso o pixel seria classificado como "No Amadeo",
Outi = N aoAmadeo (3.20)
(d) Caso o pixel no seja classificado nos passos anteriores, segue-se ento a pos-
sibilidade de ser pertencente a um material puro ou de ser uma mistura de
materiais, sendo a classificao efectuada noutro nvel.
Figura 3.19: Exemplos de classificao. (a) Identificao do pigmento branco (A branco).

(b) Identificao do pigmento preto (A preto). (c) Identificao das zonas sem anlise
EDXRF (A roxo). (d) Identificao das zonas com pigmentos puros. (e) Identificao das
zonas com misturas de pigmentos (A preto).
2. No segundo nvel de classificao surgiram dois grandes desafios: identificar pixels

pertencentes a materiais puros, algo que nos testes no tinha sido possvel com as
mtricas anteriores; e definir uma condio que permitisse identificar quando um
pixel pertence ou no pertence a um material puro. Para resolver o primeiro pro-
blema recorreu-se a uma tcnica utilizada pelos qumicos na anlise de espectros
muito semelhantes, a utilizao da primeira derivada. Esta tcnica reala peque-
nas diferenas entre os materiais amplificando-as para uma anlise e diferenciao
mais eficaz, destacando principalmente os pontos de inflexo de cada uma das cur-
vas dos espectros. Contudo no seria suficiente calcular a derivada do espectro de
cada pixel devido ao rudo presente na imagem hiperespectral, o que iria conduzir
a muita variao na derivada. Para reduzir a quantidade de rudo, antes de se apli-
car a derivada procedeu-se aplicao do smooth ao espectro do pixel em anlise.
Para tal efeito utilizou-se o mtodo SavitzkyGolay [SG64], sendo este baseado em
clculos polinomiais do mtodo dos mnimos quadrados. De referir ainda que em
4
Elemento qumico que constitui o Branco de Titnio (T iO2 ), introduzido como tinta para artistas a partir
de 1920, data posterior morte de Amadeo de Souza-Cardoso.
63
vez de estimar uma curva de mnimos quadrados para o comprimento do espec-

tro, este mtodo estima o espectro pedao por pedao de acordo com um tamanho
definido pelo utilizador. Este mtodo tem sido abordado em inmeros trabalhos
devido sua eficincia, podendo destacar-se o trabalho descrito em [Vai06]. A fi-
gura 3.20 mostra um exemplo do resultado obtido da aplicao deste mtodo. Por
fim calculou-se a primeira derivada do espectro do pixel em anlise, tendo sido cal-
culada tambm para cada um dos espectros de materiais puros da base de dados
de espectros de referncia.
Figura 3.20: (a) Espectro original da imagem hiperespectral. (b) Espectro aps aplicao
de filtro SavitzkyGolay de ordem binomial e com tamanho do filtro 9.
Aps os passos anteriores procedeu-se ao clculo do ngulo espectral (SAM) entre o

espectro com a primeira derivada do pixel teste i e cada um dos espectros da base de
dados de materiais puros (com a primeira derivada), tcnica j utilizada em outros
trabalhos de investigao [DHD+ 06],

Pn
k=1 Di,k Dr,k
i,r = cos1 qP , (3.21)
n 2
Pn 2
D
k=1 i,k D
k=1 r,k
onde i,r o ngulo espectral entre o pixel i e o espectro de referncia r pertencente

a Pes , n o nmero de comprimentos de onda (neste caso, 33), Di,k o valor da de-
rivada do espectro do pixel i no comprimento de onda k e Dr,k o valor da derivada
do espectro de referncia r no comprimento de onda k.
Ordenaram-se os ngulos obtidos por ordem crescente e neste passo surgiu o se-
gundo desafio, definir uma condio sobre este conjunto de ngulos para identificar
se o pixel teste pertence a um material puro ou a uma mistura de materiais. Optou-
se por utilizar uma condio j definida anteriormente pela equao 3.8, baseada
na condio de matching proposta por David Lowe. Ou seja, se o menor ngulo ob-
tido for menor do que uma percentagem do segundo menor ngulo, ento o pixel
classificado como pertencente a um material puro, caso contrrio trata-se de uma
mistura de materiais puros. Esta condio apresenta vantagens sobre a definio
64
de um nico threshold sobre a os ngulos, pois neste caso iro ocorrer menos falsas
atribuies de materiais puros. Esta condio leva assim a duas opes:
(a) Caso o pixel i seja identificado como pertencente a um material puro, a classifi-
cao no termina, seguindo-se um processo de confirmao da classificao.
Como sugesto de alguns peritos envolvidos no projecto em que a dissertao
se integra, decidiu-se construir um processo para confirmao da classifica-
o efectuada. O processo de validao baseado na anlise dos elementos
qumicos, semelhana da condio de verificao de autenticidade. Para o
pixel i em anlise, identificou-se no primeiro nvel a amostra EDXRF (ou v-
rias quando existem vrias para a mesma zona) correspondente (representada
por Melem ). Essa amostra representada por uma lista de elementos qumi-
cos semelhana de cada um dos materiais puros presentes na base de dados.
Compara-se assim a lista de elementos da amostra EDXRF para o pixel de teste
com a lista de elementos do material puro candidato (exemplos descritos em
3.1). Se as listas de elementos forem iguais, ento a atribuio foi efectuada
correctamente e o pixel definitivamente classificado como sendo pertencente
ao material puro (ver 3.22) anteriormente definido como candidato (exemplo
figura 3.19, (d)).
Outi = P igmentoP uro (3.22)
Caso contrrio, a atribuio baseada na informao FORS foi efectuada de

forma incorrecta e surge a necessidade de corrigir essa mesma atribuio. As-
sim o que acontece que o pixel pode eventualmente ter sido mal includo
como pixel de um material puro atravs da condio de definio dos materi-
ais puros, partindo-se para uma anlise das misturas para esse pixel especfico,
sendo esta definida no prximo passo.
Amostra EDXRF Pixel Teste Material Puro Candidato Resultado

Cr, Hg Hg (Red Vermillion) Classificao incorrecta
Cd Cd (Orange Cd) Classificao correcta
Tabela 3.1: Exemplo da metodologia de validao da classificao dos materiais puros.
(b) A anlise das misturas de pigmentos para um determinado pixel efectuada

quando este no englobado na condio dos pixels puros ou quando a clas-
sificao dos puros foi efectuada de forma errada e surge a necessidade de
corrigir esse facto. Este tipo de anlise efectuada em vrios passos, conju-
gando a informao obtida com a tcnica FORS com a informao obtida com
EDXRF para aumentar a eficcia de classificao. Partindo da amostra EDXRF
atribuda ao pixel teste de acordo com o intervalo de cor (Melem ), obtm-se
a sua listagem de elementos. Uma mistura de pigmentos apenas pode ser
65
constituda por pigmentos cujos todos os seus elementos estejam presentes na

mistura, ou seja, considerando uma mistura com Crmio (Cr) e Ferro (Fe), um
pigmento puro com os elementos Cobalto (Co) e Crmio (Cr) no poder fazer
parte da mistura pois esta no tem o elemento Cobalto (Co). Partindo da mis-
tura (formada pela amostra), percorre-se todas as listagens de elementos de
pigmentos puros (Pel ) e procuram-se aqueles em que todos os seus elementos
esto presentes na mistura. Resulta assim num conjunto de pigmentos puros
possveis para a mistura final.
Veja-se um exemplo concreto da seleco de pigmentos que podero fazer
parte de uma mistura. Considere-se uma determinada amostra captada num
dos quadros de Amadeo contendo a seguinte listagem de elementos: Cr (Cr-
mio) e Hg (Mercrio). Percorrendo as listagens de elementos presentes nos
pigmentos puros (ver 6.1), obtm-se como possveis hipteses para integrar a
mistura:
Red Vermillion (Hg)
Yellow Cr (Cr)
Viridian (Cr)
De modo a tornar o mais claro possvel, enuncia-se outro exemplo. Considere-
se uma amostra cuja listagem de elementos presentes : Cr (Crmio), Fe (Ferro).
Os pigmentos puros que podero fazer parte desta mistura so:
Yellow Ochre (Fe)
Yellow Cr (Cr)
Prussian Blue (Fe)
Viridian (Cr)
Aps a identificao de todos os pigmentos puros possveis, procede-se cons-
truo dos espectros da misturas atravs do clculo de todas as combinaes
possveis de pigmentos puros seleccionados e, para cada combinao, calcula-
se o espectro FORS da combinao atravs de uma soma linear dos espectros
dos pigmentos puros presentes na combinao. Apenas se constroem combi-
naes admissveis de modo a no introduzir erro na classificao. Considere-
se o ltimo exemplo apresentado em que se tratava de uma mistura de Cr
(Crmio) e Fe (Ferro) e os elementos puros identificados. No faria sentido cal-
cular a combinao entre Yellow Ochre (Fe) e Prussian Blue (Fe), assim como
entre Yellow Cr (Cr) e Viridian (Cr) pois os elementos presentes nestas mistu-
ras seriam diferentes da mistura real. Assim podem combinar-se Yellow Ochre
(Fe) com Viridian (Cr), Yellow Ochre (Fe) com Viridian (Cr) e Yellow Cr (Cr),
exemplificando assim o comportamento do mtodo.
Para incrementar o desempenho do algoritmo, calcula-se a soma linear de es-
pectros dos pigmentos puros individuais multiplicados por uma percentagem,
66
incidindo sobre todas as combinaes de percentagem em passos de 10 em 10

pontos percentuais. Assim, garantia-se que existia um espectro com 90% de
um pigmento verde e 10% de um pigmento amarelo, um espectro com 80%
de pigmento verde e 20% de pigmento amarelo e assim sucessivamente (ver
exemplo figura 3.21). De realar que as combinaes de pigmentos foram res-
tringidas apenas a misturas de 3 pigmentos pelo facto de no se saber que
existam misturas de quatro pigmentos. Este passo consiste numa aproxima-
o bastante alargada do que se pode considerar uma mistura de pigmentos
ou colorantes. Isto porque ainda que se possa considerar esta soma linear ao
nvel de curva espectral. Em termos colorimtricos esta uma aproximao
algo grosseira conduzindo por vezes a uma cor diferente do que se esperaria
obter.
Figura 3.21: Exemplo de soma linear de dois espectros. (a) Espectro Red Vermillion. (b)
Espectro Yellow Ochre. (c) Espectro soma 60% Red Vermillion e 40% Yellow Ochre.
Calculados os espectros para todas as combinaes possveis, procede-se

identificao da mistura respectiva, atribuio que efectuada pela informa-
o FORS. Procede-se ao clculo do ngulo espectral (SAM) entre o espectro
do pixel teste i directamente extrado da imagem hiperespectral e sem recurso
a qualquer derivada, e todas as misturas calculadas. A mistura para qual o
ngulo calculado for menor atribuda ao pixel em questo (ver 3.23), ter-
minando a classificao neste ponto (exemplo figura 3.19, (e)). Neste ltimo
passo no se utilizou a derivada pois a sua utilizao anterior deveu-se difi-
culdade em identificar os pigmentos puros, sendo o SAM neste caso a alterna-
tiva mais eficiente em termos de classificao.
Outi = M isturadeP igmentos (3.23)
Independentemente do ramo escolhido, seja anlise dos pigmentos puros ou an-

lise das misturas, o resultado poder ser sempre uma mistura de pigmentos. Sem-
pre que o resultado uma mistura, o utilizador pode visualizar a percentagem de
cada um dos elementos presentes na mistura, sendo esta sempre uma percentagem
67
3. A NLISE DE O BRAS DE A RTE 3.5. Classificao de Pinturas Baseada em Diferentes Tipos de Anlise
aproximada da realidade, algo que impossvel de identificar, mesmo em laborat-

rio com os recursos mais sofisticados. No captulo seguinte apresentam-se alguns
dos resultados experimentais obtidos com o mtodo de classificao relatado.
Visualizao dos Resultados Tal como ser referido no captulo de concluses e traba-
lho futuro, no foi ainda construdo um mtodo de visualizao eficaz para esta anlise
por vrias razes. Para testes utilizou-se a mesma lgica dos mtodos anteriores, atribuir
uma cor a cada um dos espectros presentes na base de dados de pigmentos puros e para
as misturas procedeu-se ao clculo da cor a partir do espectro da mistura seleccionada tal
como foi efectuado no mtodo de classificao no supervisionada.
3.5 Classificao de Pinturas Baseada em Diferentes Tipos de

Anlise
Importa referir que o classificador de pinturas baseado nas caractersticas das assinaturas
surgiu no mbito do projecto com o intuito de uma integrao posterior com o classifica-
dor baseado nas caractersticas de pincelada de modo a construir um classificador com-
binado. Assim aps a construo do classificador de assinaturas que revelou resultados
significativos, procedeu-se reconstruo do classificador com base nas caractersticas de
pincelada e combinou-se a informao produzida por ambos os RLSC (ver figura 3.22).
De realar que a verificao de autenticidade e atribuio de autor de pinturas utilizando
a anlise de materiais deveria ter sido includa no classificador mas no captulo das con-
cluses sero enunciadas as razes que levaram a que tal no fosse concludo.
Figura 3.22: Diagrama de blocos do mtodo de classificao combinada de pinturas con-

jugando vrios tipos de informao.
Para converter a sada do classificador (RLSC) num valor de probabilidade, vrias es-
tratgias tm sido propostas em trabalhos anteriores. Em [Wah99] proposto um mtodo
baseado em regresso logstica para produzir valores probabilsticos a partir de valores
de classificao obtidos por mtodos baseados em Kernel. Contudo esta parece no ser a
melhor alternativa, sendo proposto em [Pla99] um modelo paramtrico para estimar di-
rectamente o valor de probabilidade a posteriori. Em ambos os classificadores anteriores
foi aplicada a segunda estratgia enunciada, respectivamente adaptada ao RLSC.
68
3. A NLISE DE O BRAS DE A RTE 3.5. Classificao de Pinturas Baseada em Diferentes Tipos de Anlise
Consideram-se duas variveis: w representando a classe positiva (por exemplo "Ama-

deo") e z representando a pertena classe negativa (por exemplo "No Amadeo"). A
probabilidade de cada uma das variveis anteriores dada uma determinada imagem re-
presentada por vx (vector de caractersticas) pode ser obtida utilizando o resultado da
classificao obtido por f (vx ) e a funo sigmide de forma semelhante ao efectuado em
[Pla99]. A sada da classe positiva (por exemplo "Amadeo") do classificador pode ser
obtida,
1
p(w|vx ) = , (3.24)
1+ eAf (vx )+B
enquanto que a sada negativa (por exemplo "No Amadeo") obtida,
eAf (vx )+B

p(z|vx ) = , (3.25)
1 + eAf (vx )+B
onde A e B so parmetros para ajuste da funo sigmide, obtidos de forma em-
prica, embora possam ser estimados a partir de um conjunto de mtodos existentes. A
funo f (vx ) representa o discriminante do classificador RLS, sendo enunciada em 3.5.
Para combinar a informao produzida por ambos os classificadores, um modelo con-
junto foi construdo baseado apenas na probabilidade da classe positiva (por exemplo,
"Amadeo") do classificador em ambos os casos. O modelo obtido da seguinte forma,
A(vx ) = p(wp |vx ) + (1 ) p(ws |vx ), (3.26)
em que um factor de peso associado a cada um dos classificadores, p(ws |vx ) o

valor de probabilidade da classe positiva para uma dada imagem utilizando o classifica-
dor de assinaturas, p(wp |vx ) o valor de probabilidade da classe positiva para uma dada
imagem utilizando o classificador de pincelada e por fim, A(vx ) a percentagem de per-
tena classe positiva para um dada imagem conjugando a informao pesada de ambos
os classificadores. Para o classificador combinado construdo atribuiu-se o mesmo peso
a cada um dos classificadores individuais, = 0.5.
Para cada valor obtido de A(vx ), se A(vx ) 0.5 ento a pintura classificada como
negativa, ou seja, no pertencente ao pintor para qual o classificador foi treinado. Caso
contrrio, se A(vx ) > 0.5 ento a pintura considerada positiva (por exemplo pertencente
classe "Amadeo"). Este processo repetido para cada imagem do conjunto de teste,
obtendo-se ento uma etiqueta para cada imagem baseada na conjugao da informao
dos dois classificadores.
Este classificador pode ser utilizado tanto para verificao de autenticidade (entre um
pintor e respectivas falsificaes), como para classificao de atribuio de autor (entre
um pintor e outros pintores) ou para ambas as classificaes conjuntas (entre um pintor e
no pertencendo ao pintor). Os resultados da aplicao do classificador construdo sero
relatados no prximo captulo.
69
3. A NLISE DE O BRAS DE A RTE 3.6. Ambiente de Desenvolvimento
3.6 Ambiente de Desenvolvimento

Esta seco descreve as ferramentas utilizadas na construo dos mtodos relatados ante-
riormente. Todo o desenvolvimento foi efectuado no ambiente MATLAB 7.12.0 (R2011a),
sendo a ltima verso estvel aquando do incio do desenvolvimento. A mquina uti-
lizada no desenvolvimento possua o Windows 7 32 bits instalado, Intel Core 2 Duo 2.5
GHz e 3GB de memria RAM instalada. A linguagem de programao utilizada foi o
MATLAB. Devido complexidade de alguns algoritmos no processamento de dados foi
necessrio recorrer a uma mquina com um sistema 64 bits pois a 32 bits no era possvel
enderear todos os dados em memria.
3.7 Discusso
Neste captulo foram descritas as principais ferramentas construdas, embora se tenham
efectuado alguns testes com alguns mtodos que acabaram por ser descartados face
sua ineficcia. Relatou-se a construo de um conjunto de mtodos, no existindo qual-
quer interface grfica para interaco construda sobre os mesmos. A sua utilizao num
futuro prximo incide principalmente sobre os resultados produzidos, podendo o utiliza-
dor adaptar alguns dos mtodos de acordo com as suas necessidades. Este um aspecto
bastante interessante a referir, que de acordo com uma determinada anlise, o utilizador
pode aproveitar a flexibilidade dos mtodos e direccionar a anlise num determinado
sentido de acordo com o problema que pretende resolver.
70
4
Resultados
Neste captulo so analisados alguns resultados experimentais resultantes da aplicao

dos mtodos desenvolvidos ao longo da dissertao. De realar a presena de vrios
peritos em anlise de obras de arte envolvidos no projecto para auxlio da construo
dos mtodos e validao dos mesmos. As tcnicas construdas incidem sobre o pintor de
Amadeo de Souza-Cardoso, contudo so independentes do pintor em estudo.
4.1 Resultados da Anlise de Assinaturas

Esta seco apresenta os resultados obtidos na anlise de assinaturas, seja em termos de
identificao de perodos de assinatura ou verificao de autenticidade e atribuio de
autor.
4.1.1 Identificao de Perodos Artsticos
O objectivo deste mtodo descobrir perodos na vida do pintor atravs das caracters-
ticas presentes nas assinaturas. Aps o tratamento dos dados, existiam 114 assinaturas
pertencentes ao pintor. O mtodo teve como entrada as imagens das assinaturas e com o
auxlio de um perito, definiu-se que no primeiro nvel o mais adequado seria apenas dois
clusters. Isto porque ao longo da sua vida Amadeo de Souza- Cardoso teve principal-
mente dois tipos de assinatura, um tipo em que a assinatura era feita com uma estampa
sendo designado pelos peritos por "pouchoir" (1914-1917) e no segundo tipo designado
por "mo livre", o autor autenticava as pinturas com uma representao do seu nome,
variando de caso para caso (1908-1914).
A figura 4.1 mostra as imagens que aps o agrupamento ficaram inseridas no primeiro
71
4. R ESULTADOS 4.1. Resultados da Anlise de Assinaturas
Figura 4.1: Imagens presentes no cluster 1
cluster, estando estas ordenadas por ordem crescente de distncia ao centride do mesmo.
Aps alguma anlise com a ajuda de um perito em histria de arte verificam-se dois
aspectos. Neste cluster no existe nenhuma assinatura correspondente ao "pouchoir" e
pela correspondncia com as datas de cada uma das assinaturas conclui-se que este cluster
engloba as assinaturas do pintor no perodo de 1908-1914, uma das fases da sua carreira
artstica.
A figura 4.2 mostra as imagens inseridas no segundo cluster ordenadas de acordo
com a menor distncia ao centride, sendo este dominado pelas assinaturas do "pou-
choir". Alm do "pouchoir", existe tambm um conjunto de assinaturas que em termos
de caractersticas locais possuem caractersticas muito semelhantes ao "pouchoir", mas a
nvel global estas diferem significativamente das restantes imagens contidas no cluster.
Esperava-se que este cluster contivesse apenas as assinaturas do estilo "pouchoir" pois
diferem significativamente de todas as outras assinaturas do pintor. Salvo as excepes
referidas, este cluster contm principalmente as assinaturas construdas pelo artista no
perodo 1914-1917, sendo esse perodo marcado pela utilizao do "pouchoir".
Apesar de se esperar obter apenas um cluster com a assinatura "pouchoir", isso no foi
possvel. Foi feita a tentativa de identificar sub-perodos dentro dos dois super-perodos
encontrados. Tanto a nvel documental como a nvel visual no foi possvel tirar conclu-
ses da identificao de sub-perodos. A nvel visual, independentemente das configura-
es do algoritmo testadas (principalmente fazendo variar o nmero de palavras visuais
e o nmero de clusters), no foi possvel separar as assinaturas que no se assemelhavam
ao "pouchoir" num nico sub-perodo. Isto sugere algo j enunciado, o facto destas pos-
surem caractersticas locais semelhantes ao estilo "pouchoir". Ao nvel do outro cluster
(figura 4.1), a identificao de sub-perodos tambm no revelou padres visuais signifi-
cativos, devendo-se principalmente ao facto das assinaturas apresentarem caractersticas
72
Figura 4.2: Imagens presentes no cluster 2
bastante distintas entre elas. Face ausncia de um estudo sobre as assinaturas deste
pintor, no foi possvel retirar concluses mais robustas.
Para destacar a eficcia do mtodo construdo, foi experimentado tambm o clustering
utilizando os filtros de Gabor mas estes no revelaram qualquer padro ao longo de um
mesmo cluster, no separando mesmo as assinaturas "pouchoir" num nico cluster. No
foi assim possvel obter uma separao evidente entre as assinaturas do pintor com este
tipo de caractersticas.
O mtodo construdo carece sem dvida de validao com outro conjunto de dados.
Em determinado ponto do projecto procuraram-se assinaturas de outro pintor para vali-
dar este mtodo de modo a permitir a construo de uma ferramenta com maior grau de
fiabilidade. Contudo at data da escrita do documento da dissertao, no foi possvel
obter quaisquer dados.
4.1.2 Classificao de Pinturas Baseada em Caractersticas das Assinaturas

A classificao de assinaturas assentou em 3 classificadores construdos sobre o mesmo
mtodo, apenas com a diferena dos dados utilizados em cada um dos casos. O primeiro
efectuava apenas a atribuio do autor de assinatura, efectuando a separao entre as
classes "Amadeo" e "Outros Artistas"; o segundo efectuava a verificao de autenticidade,
entre as classes "Amadeo" e "Falsificao"; e por fim, o ltimo classificador juntava os dois
conceitos anteriores, diferenciando entre "Amadeo" e "No Amadeo", englobando esta
ltima classe falsificaes ou assinaturas pertencentes a outros pintores. Para demonstrar
a validade do mtodo construdo face a tcnicas j existente no estado da arte, efectuou-se
o mesmo tipo de classificao mas utilizando tambm os filtros de Gabor para extraco
de caractersticas.
73
Para testar de facto a robustez dos classificadores construdos procedeu-se a uma

aproximao do mtodo 10-fold cross validation. Em vez dos classificadores serem tes-
tados apenas uma vez, procedeu-se validao num conjunto de 10 iteraes em que em
cada iterao, um conjunto de imagens seleccionado aleatoriamente para o conjunto
de treino, enquanto as restantes formam o conjunto de teste. A preciso global do clas-
sificador obtida atravs da mdia da preciso obtida em cada uma das 10 iteraes.
A classificao utilizando os filtros de Gabor no foi efectuada de forma aleatria. De
forma a ser comparvel de forma equilibrada, a classificao utilizando os filtros de Ga-
bor utilizava os mesmos conjuntos de treino e teste que o mtodo construdo para as 10
iteraes.
As tabelas para avaliao de cada um dos classificadores contm um conjunto de
medidas para a preciso do classificador. Descreve-se de seguida como se procedeu ao
clculo de cada uma dessas medidas.
A medida Positivos Correctos ou acerto de imagens positivas reflecte a percentagem
de imagens positivas classificadas de forma correcta,
Npc
PP ositivosCorrectos = 100, (4.1)
Tp
onde Npc o nmero de imagens positivas classificadas de forma correcta, ou seja,

classificadas como positivas; Tp o nmero total de imagens positivas no teste; e PP ositivosCorrectos
a percentagem de hits nas imagens positivas do teste. A percentagem de falsos nega-
tivos dada pela percentagem de imagens positivas classificadas de forma errada como
negativas, podendo ser obtida da seguinte forma,
PF alsosN egativos = 100 PP ositivosCorrectos , (4.2)
A medida Falsos Positivos traduz-se na percentagem de imagens negativas classifica-

das de forma errada como sendo positivas,
Nne
PF alsosP ositivos = 100, (4.3)
Tn
onde Nne o nmero de imagens negativas classificadas de forma errada, ou seja,

classificadas como positivas; Tn o nmero total de imagens negativas no teste; e PF alsosP ositivos
a percentagem de falsos positivos nas imagens do conjunto de teste.
Por fim, a Accuracy ou desempenho geral do classificador calculada de acordo com
o nmero de imagens correctamente classificadas no conjunto de teste. Esta pode ser
obtida da seguinte forma:
Npc + Nnc
PAccuracy = 100, (4.4)
Tp + Tn
onde Npc o nmero de imagens positivas classificadas de forma correcta, ou seja,
classificadas como positivas; Nnc o nmero de imagens negativas classificadas de forma
74
correcta, ou seja, classificadas como negativas; Tp o nmero total de imagens positivas

no conjunto de teste e Tn o nmero total de imagens negativas no conjunto de teste.
4.1.2.1 Atribuio de Assinaturas
Este primeiro classificador foi construdo com o intuito de resolver o problema de atribui-
o do autor de uma pintura baseando-se na assinatura, ou seja, se pertence a Amadeo
ou a outro artista. Como classe positiva do classificador definiu-se a classe "Amadeo" e
como classe negativa "Outros Pintores". A figura 4.3 contm alguns exemplos das ima-
gens utilizadas em cada uma das classes.
Figura 4.3: Exemplos de imagens de entrada no classificador (a) Classe "Amadeo". (b)
Classe "Outros Artistas".
A tabela 4.1 mostra a distribuio dos dados para efeitos de classificao, havendo
114 imagens digitais de assinaturas de Amadeo e 67 de outros pintores, sendo cada um
dos conjuntos repartido pelo treino e pelo teste.
(#) Treino Teste Total

Amadeo 60 54 114
Outros Pintores 34 33 67
Tabela 4.1: Distribuio dos dados para atribuio de assinaturas.
De acordo com a distribuio dos dados anteriores, obtiveram-se os resultados des-

critos na tabela 4.2.
Positivos
(%) Falsos Positivos Falsos Negativos Accuracy
Correctos
SIFT 99.3 12.4 0.7 94.8
Gabor 91.4 20.7 8.6 86.9
Tabela 4.2: Resultados obtidos na classificao de atribuio de assinaturas.
Como possvel constatar pelos resultados observados, o classificador construdo ba-

seado nas caractersticas SIFT foi mais eficaz revelando uma taxa global de desempenho
mais elevado do que com os filtros de Gabor. Tanto a nvel dos falsos positivos como
75
dos falsos negativos, existe uma diferena percentual de aproximadamente 8%, sendo o
classificador com as caractersticas SIFT o mais eficiente ao nvel da classificao.
4.1.2.2 Autenticao de Assinaturas
Ao nvel do estado da arte, os problemas mais difceis de resolver ao nvel da verifica-

o de assinaturas prendem-se com a autenticao, ou seja, classificar assinaturas como
autnticas ou falsificaes construdas a partir das autnticas. Este classificador pretende
resolver isso mesmo, isto , diferenciar entre a classe positiva "Amadeo" e a classe ne-
gativa "Falsificaes" de assinaturas do pintor. Neste caso, o classificador encontra-se
desequilibrado pois a quantidade de assinaturas da classe negativa bastante reduzida.
Foram construdas algumas assinaturas da classe negativa em laboratrio a partir das
autnticas mas o nmero continua a ser insuficiente para construir um classificador to-
talmente robusto. A figura 4.4 contm alguns exemplos das imagens utilizadas em cada
uma das classes.
Classe "Falsificaes".
114 imagens digitais de assinaturas de Amadeo e 10 de assinaturas falsificadas, sendo
cada um dos conjuntos repartido pelo treino e pelo teste.

Amadeo 57 57 114
Falsificaes 5 5 10
Tabela 4.3: Distribuio dos dados para autenticidade de assinaturas.

A anlise dos resultados sugere algo que havia j sido referido, o desequilbrio do
classificador. Isto pois os dados positivos so suficientes para treinar a classe positiva,
revelando-se uma taxa de acerto de 100% enquanto que a taxa de acerto para a classe
76
Positivos
Correctos
SIFT 100.0 27.8 0.0 97.7
Gabor 93.5 42.0 6.5 90.6
Tabela 4.4: Resultados obtidos na verificao de autenticidade de assinaturas.
negativa no vai alm de 72.2%, revelando uma taxa alta de falsos positivos. Face ao con-
junto de teste reduzido, o classificador revela que em mdia 2 em 5 assinaturas negativas
so classificadas de forma errada como positivas. A escassez de dados foi um grande
obstculo neste caso.
4.1.2.3 Atribuio e Autenticao de Assinaturas
Ambos os classificadores anteriores resolviam problemas distintos, sendo significativa-

mente precisos a fazer uma classificao correcta entre as duas classes. Todavia, optou-se
por juntar ambos os classificadores num nico, tentando resolver ambos os problemas
numa nica ferramenta. Assim qualquer assinatura, seja pertencente a Amadeo, falsi-
ficao ou pertencente a outro pintor pode ser submetida ao classificador de modo a
perceber a qual das classes pertence. A classe positiva designa-se a classe "Amadeo" e a
classe negativa designada "No Amadeo", contemplando qualquer tipo de assinatura
que no tenha sido feita pela mo do artista. A figura 4.5 contm alguns exemplos das
imagens utilizadas em cada uma das classes.
Classe "No Amadeo".
114 imagens digitais de assinaturas de Amadeo e 77 de outros pintores e falsificaes,
sendo cada um dos conjuntos repartido pelo treino e pelo teste.
Novamente se verifica pelos dados a eficcia significativa do classificador construdo
com as caractersticas SIFT face ao classificador com os filtros de Gabor. semelhana
77
4. R ESULTADOS 4.2. Classificao de Pinturas Baseada em Caractersticas de Pincelada

Amadeo 60 54 114
No Amadeo 39 38 77
Tabela 4.5: Distribuio dos dados para atribuio e autenticidade de assinaturas.
Positivos
Correctos
SIFT 98.3 11.9 1.7 94.1
Gabor 88.7 18.2 11.3 85.8
Tabela 4.6: Resultados obtidos na classificao de atribuio e autenticidade de assinatu-

ras.
dos casos anteriores, tambm neste caso possvel verificar uma taxa de falsos negativos
relativamente baixa, o que indica que o classificador consegue distinguir bem as imagens
positivas.
4.2 Classificao de Pinturas Baseada em Caractersticas de Pin-

celada
Como j havia sido referido no captulo anterior, j tinha sido construdo no mbito do
projecto um classificador para verificao da atribuio de pinturas baseada em carac-
tersticas de pincelada. Apesar dos resultados positivos j relatados no estado da arte
[MJC+ 12], foi necessrio voltar a refazer o classificador com vista construo de um
classificador combinado. No trabalho anterior tinham sido destacados alguns estudos
sobre o nmero de imagens no conjunto de treino e teste, assim como o desempenho do
classificador de acordo com o tipo de caractersticas extradas.
Figura 4.6: Exemplos de imagens de entrada no classificador (a) Classe "Amadeo", ima-
gens cedidas pelo Centro de Arte Moderna. (b) Classe "No Amadeo", imagens retiradas
de http://www.guggenheim.org.
Na construo do classificador composto optou-se pela utilizao da tcnica SIFT,

sendo este o tipo de caractersticas extradas, tanto para a classificao com base nas
78
4. R ESULTADOS 4.3. Resultados do Mapeamento de Materiais
assinaturas como para a classificao com base na pincelada. A figura 4.6 contm alguns
exemplos das imagens utilizadas em cada uma das classes.
Devido escassez de falsificaes para construir um classificador dedicado exclusi-
vamente autenticidade de pinturas com base nas caractersticas de pincelada optou-se
por construir apenas um classificador para teste, resolvendo o problema da atribuio de
autor e autenticidade simultaneamente. O classificador foi testado de forma semelhante
ao classificador anterior com base nas assinaturas, sendo os resultados obtidos atravs da
mdia de 10 iteraes do classificador. Na construo do classificador anterior disserta-
o, o conjunto de treino e teste eram fixos, havendo apenas uma iterao do algoritmo.
Neste caso aplicou-se tambm a aproximao 10-fold cross validation de modo a explo-
rar a robustez da classificao independentemente dos conjuntos de treino escolhidos.
A tabela 4.7 mostra a distribuio dos dados para efeitos de classificao, existindo 200
imagens de pinturas de Amadeo e 110 de outros pintores e falsificaes, optando-se por
uma juno de ambos os problemas.

Amadeo 125 75 200
No Amadeo 60 50 110
Tabela 4.7: Distribuio dos dados para atribuio e autenticidade de pinturas com base
nas caractersticas de pincelada.

Positivos
Correctos
SIFT 99.7 16.0 0.3 93.4
Gabor 84.9 52.2 15.1 70.0
Tabela 4.8: Resultados obtidos na classificao de pinturas com base nas caractersticas
de pincelada.
Tal como j tinha sido descrito na publicao [MJC+ 12], a SIFT a permitir obter resul-
tados bastante positivos, enquanto que os filtros de Gabor se revelaram menos eficientes.
A construo deste classificador revelou tambm alguma ineficcia ao nvel dos falsos
positivos, principalmente devido escassez de dados da classe negativa. Contudo a re-
construo deste classificador no vale apenas pelos resultados individuais pois j tinha
sido comprovada a sua eficcia, vale sim pela integrao num classificador combinado
de pinturas, integrando vrios tipos de informao.
4.3 Resultados do Mapeamento de Materiais

Esta seco descreve os resultados obtidos na aplicao dos mtodos desenvolvidos no
mbito da anlise de imagens hiperespectrais.
79
4.3.1 Mapeamento de Materiais atravs de Classificao Supervisionada

Este foi um dos primeiros mtodos a ser construdo para efectuar uma anlise de re-
gies de cor semelhantes numa mesma pintura a partir da reflectncia emitida pelos pig-
mentos. Por norma, a base de dados construda individualmente para cada quadro,
contudo devido flexibilidade do mtodo pode construir-se a base de dados atravs da
amostragem de vrios quadros, sendo essa uma base de dados comum a vrias pinturas.
Apresenta-se em seguida um caso de estudo sobre o qual se aplicou o mtodo construdo,
sendo este processo auxiliado por um perito em anlise de obras de arte.
4.3.1.1 Caso de estudo: Mucha
A pintura Mucha uma pintura bastante conhecida de Amadeo de Souza-Cardoso e sobre

a qual foi adquirida uma imagem hiperespectral. A base de dados de entrada para o
classificador foi construda com a ajuda de um perito, tentando captar pontos especficos
para cada um dos pigmentos existentes na pintura (ver figura 4.7). Para cada pigmento
seleccionado, seja puro ou uma mistura, calculou-se o espectro mdio ao longo de uma
zona de 13x13 pixels definida em redor de cada ponto e atribuiu-se um valor de RGB a
cada pigmento seleccionado de modo a construir um output visual.
Figura 4.7: Construo da base da base de dados a partir de amostras retiradas da ima-
gem hiperespectral e respectiva palete de cores atribuda a cada um dos pigmentos.
Depois de construda a base de dados procedeu-se classificao individual de cada

um dos pixels de acordo com a base de dados de referncia. Utilizou-se o valor de 0.85
para a percentagem dx referida no captulo anterior onde o mtodo descrito.
O resultado final da classificao pode ser obtido de vrias formas. Na figura 4.8 (a),
o resultado consiste na visualizao de todos os materiais da base de dados mapeados
numa nica imagem. Esta uma das formas de visualizao mais frequentes em alguns
80
Figura 4.8: Resultado visual da classificao. (a) Todos os pigmentos mapeados. (b)
Apenas mapeado o pigmento 8. (c) Apenas mapeado o pigmento 3.
dos trabalhos de investigao analisados, permitindo uma anlise visual mais fcil para
identificao de zonas com o mesmo material. Contudo duas variantes podem surgir de
modo a analisar um pigmento mais especfico. Em 4.8 (b) mapeou-se apenas o pigmento
8 da base de dados numa nica imagem. Neste caso no se definiu nenhum threshold para
identificar quando um determinado espectro pertence base de dados ou no pertence,
sendo classificado como "Unclassified". Por essa razo, aparecem muitos pixels isolados
como atribudos ao material mas que na realidade so pixels fronteira entre materiais e
que realmente no pertencem ao pigmento 8. A figura 4.8 (c) pretende mostrar este factor.
Neste caso mapeou-se o pigmento 3 da base de dados, mas utilizando um threshold sobre
o ngulo espectral de 10o , isto pois o ngulo calculado em graus. Todos os pixels cujo
ngulo espectral mnimo entre o pixel de teste e a base de dados seja acima de 10 graus
so classificados como "Unclassified", eliminando assim parte dos pixels fronteira.
A anlise visual revelou um mtodo bastante efectivo em distinguir os materiais exis-
tentes na base de dados, classificando de uma forma geral correctamente todos os materi-
ais definidos. Todavia surgiu a necessidade de encontrar uma forma numrica de avaliar
o classificador construdo.
Validao do Classificador O classificador foi validado de forma semelhante aos traba-

lhos descritos em [PWLS07, Kuc07, MGW+ 05]. Recorrendo a ajuda de um perito neste
tipo de anlise, seleccionou-se uma regio de interesse para validao de cada pigmento
contido na base de dados. A regio de tamanho 13x13 pixels definida para cada pigmento
apenas poderia conter pixels que se sabia a priori pertencerem ao pigmento em questo,
ou seja, este passo pretendia encontrar as "ground truth" para cada pigmento. Para o caso
de estudo em anlise seleccionaram-se as regies que se podem visualizar na figura 4.9.
Para avaliar o desempenho do classificador, analisou-se em primeiro lugar para cada
81
Figura 4.9: Amostragem das regies de interesse para validao do classificador
pigmento o nmero de pixels classificados correctamente, avaliando-se depois o desem-

penho geral do classificador tendo em conta todas as regies de interesse seleccionadas.
Alm desta medida de desempenho do classificador (Accuracy), calculou-se tambm o co-
eficiente kappa. Este coeficiente bastante utilizado ao nvel do estado da arte para com-
parar o desempenho de vrios classificadores e para quantificar de forma sucinta a matriz
de confuso produzida por cada classificador (por exemplo em [HR04, 22604, PWLS07]).
Este toma sempre valores menores ou iguais a 1, sendo que o valor 1 implica uma clas-
sificao perfeita ao longo de todas as classes enquanto que valores superiores a 0.8 so
considerados muito bons para uma classificao com vrias classes. Surge neste trabalho
com o intuito de tornar a validao do classificador mais robusta. O coeficiente kappa
pode ser obtido atravs de,
Pn Pn
C i=1 di,i i=1 di, d ,i
P P
k= n (4.5)
C 2 i=1 di,P dP,i
P
Pn
onde C o nmero de regies de interesse presentes na classificao, i=1 di,i o
somatrio das diagonais da matriz de confuso, di, P o nmero de pixels em cada regio
de interesse e dP ,i o nmero de pixels classificados como pertencentes a cada uma das
regies de interesse.
Para uma anlise mais concisa, apresenta-se na tabela 4.9 os resultados obtidos na
avaliao deste classificador, sendo a matriz de confuso resumida pelo clculo do coefi-
ciente kappa.
Segundo o mtodo de avaliao definido, o classificador revelou uma classificao
eficaz com um desempenho geral de 98% para as regies de interesse seleccionadas. De
realar que as regies de interesse para avaliao foram escolhidas ao mesmo tempo que
se definiu a base de dados de referncia, numa fase anterior classificao. Inmeras
localizaes para as diferentes regies de interesse poderiam ter sido escolhidas, contudo
para avaliao do classificador optou-se pela definio das regies apresentadas.
82
Regio
1 2 3 4 5 6 7 8 9 10 11 12 13 Total
No
PC (#) 2154
169 168 169 169 169 169 169 169 168 169 153 169 144
T (#) 2197
169 169 169 169 169 169 169 169 169 169 169 169 169
A (%) 98.0
100 99.4 100 100 100 100 100 100 99.4 100 90.0 100 85.2
Tabela 4.9: Resultados obtidos na classificao supervisionada com base de dados in-
terna de acordo com as reas definidas na figura 4.9. PC - Nmero de pixels classificados
correctamente. T - Nmero total de pixels. A - Accuracy da classificao.
O coeficiente kappa para a classificao em questo foi de 0.925, um valor considera-

velmente elevado, o que face ao que foi referido anteriormente mostra uma classificao
bastante precisa. Isto possvel afirmar pelo facto de se ter obtido um valor bastante
prximo de 1, tendo em conta uma validao com 13 classes.
Este mtodo pode assim auxiliar os historiadores, identificando grupos de pixels se-
melhantes numa mesma pintura com a definio de um ou mais espectros de referncia.
4.3.2 Mapeamento de Materiais atravs de Classificao No-Supervisionada
Este mtodo mais automtico do que o mtodo anterior, no requerendo a definio de

uma base de dados de referncia, sendo esse processo feito automaticamente. Este per-
mite, semelhana do mtodo anterior, agrupar pixels pertencentes ao mesmo material,
facilitando a anlise visual e a identificao de zonas com o mesmo material. Conside-
rando novamente como caso de estudo a pintura Mucha de Amadeo de Souza-Cardoso,
apresentam-se os resultados da classificao automtica utilizando este mtodo.
4.3.2.1 Caso de estudo: Mucha
Tentando analisar o comportamento do mtodo, optou-se por definir um nmero de clus-

ters igual ao nmero de pigmentos amostrados para a classificao supervisionada, no
caso em questo, 13 clusters. semelhana da classificao supervisionada, neste caso
tambm possvel ver todos os clusters mapeados numa nica imagem (figura 4.10, (a))
ou apenas um cluster mapeado de modo a analisar as zonas pertencentes a esse cluster
(figura 4.10, (a) e (b)).
A anlise dos resultados indica que o mtodo bastante sensvel a pequenas diferen-
as no espectro de um mesmo material, muitas vezes existindo dois clusters para mo-
delar esse material. Neste caso tambm possvel verificar a inexistncia de qualquer
pigmento preto, por ser em termos espectrais, bastante semelhante ao pigmento branco,
tendo sido incorporado num dos restantes clusters obtidos. Devido incerteza associada
ao que ir ser mapeado em cada um dos clusters, no possvel construir um mtodo de
avaliao para o classificador, sendo esta unicamente visual.
83
Figura 4.10: Resultado visual da classificao. (a) Todos os clusters mapeados. (b) Apenas
mapeado o cluster 6. (c) Apenas mapeado o cluster 1.
4.3.3 Resultados do Mapeamento de Materiais atravs de Classificao com

Base de Dados Externa
A classificao com a base de dados externa conduziu a dois tipos de anlise, semelhan-
tes na forma como a base dados adquirida e diferindo no processo de classificao.
Apresentam-se em seguida os dois mtodos construdos onde se aplicou este tipo de
informao, sendo o primeiro aplicado a uma pintura falsificada do pintor, enquanto o
segundo se aplica a algumas pinturas autnticas do pintor.
4.3.3.1 Mapeamento de Materiais atravs de Informao FORS
Caso de estudo: Falsificao Das vrias imagens hiperespectrais existentes, duas delas
pertenciam a falsificaes de pinturas do pintor Amadeo de Souza-Cardoso. Para ambas
as pinturas existia uma anlise FORS captada em vrias zonas do quadro. A figura 4.11
mostra os pontos onde foi efectuada a anlise FORS para a falsificao considerada neste
caso de estudo.
Com a ajuda de um perito neste tipo de anlises identificaram-se os pontos existentes
para cada um dos pigmentos respectivos. Para os pigmentos com vrios pontos associa-
dos, calculou-se o espectro mdio dos vrios pontos. Nos restantes casos em que existia
apenas um ponto para um dado pigmento, o espectro de referncia desse pigmento era
igual ao espectro do ponto.
Este mtodo apenas difere do mtodo de classificao supervisionada relatado em
3.4.2 na definio da base de dados de espectros de referncia, sendo o restante processo
efectuado da mesma forma, quer a nvel de classificao como a nvel de visualizao dos
resultados. Procede-se ento atribuio de um valor RGB a cada um dos espectros de
84
Figura 4.11: Pontos da pintura onde foi efectuada a anlise FORS
referncia na base de dados e procede-se classificao atravs do mtodo que conjuga

o SAM com a distncia Euclidiana. O resultado da classificao pode ser visto na figura
4.12.
Figura 4.12: Resultado visual da classificao. (a) Todos os pigmentos de referncia ma-
peados. (b) Apenas mapeado o pigmento 5. (c) Apenas mapeado o pigmento 2.
semelhana de alguns dos testes anteriores, o resultado final da classificao pode

ser obtido de vrias formas. Na figura 4.12 (a) so mapeados simultaneamente todos os
pigmentos contidos na base de dados de referncia. Na figura 4.12 (b), apenas ma-
peado o pigmento nmero 5 da base dados numa opo de visualizao de um nico
pigmento. Por fim, na figura 4.12 (c) mapeado o pigmento nmero 2 com a defini-
o de um threshold de 7o sobre o ngulo espectral de modo a eliminar pixels fronteira
que tenham sido classificados de forma errada como pertencentes a este pigmento. Uma
85
primeira anlise visual revela que a informao produzida pela cmara hiperespectral
comparvel com a informao adquirida com o FORS.
De modo a avaliar os resultados obtidos no mapeamento das vrias regies de cor,
seguiu-se o processo de validao anteriormente utilizado para a classificao supervisi-
onada, definindo-se uma regio de interesse para cada um dos pigmentos presentes na
base de dados. Para avaliar o desempenho do classificador analisou-se em primeiro lugar
para cada pigmento o nmero de pixels classificados correctamente, avaliando-se depois
o desempenho geral do classificador tendo em conta todas as regies de interesse selecci-
onadas. De realar que para a pintura em questo no foi possvel avaliar o desempenho
da classificao para alguns dos pigmentos da base de dados visto no ser possvel defi-
nir uma rea com 13x13 pixels que englobasse exclusivamente o respectivo pigmento na
pintura. Os resultados da avaliao encontram-se descritos na tabela 4.10.
Figura 4.13: Amostragem das regies de interesse para validao do classificador
Regio No 1 2 3 4 5 6 7 9 14 15 Total
PC (#) 150 169 169 169 169 169 169 169 169 64 1566
T (#) 169 169 169 169 169 169 169 169 169 169 1690
A (%) 88.8 100 100 100 100 100 100 100 100 37.9 92.7
Tabela 4.10: Resultados obtidos na classificao com recurso a base de dados externa. PC
- Nmero de pixels classificados correctamente. T - Nmero total de pixels. A - Accuracy
da classificao.
Os resultados presentes na tabela permitem ter uma ideia geral do desempenho alcan-
ado pelo classificador. Este tipo de classificao revela que os sinais obtidos pelas duas
tcnicas (cmara hiperespectral e FORS) so aparentemente equivalentes e que podem
ser integrados de modo a construir mtodos mais completos e robustos. Para este clas-
sificador, alm do desempenho geral calculou-se tambm o coeficiente kappa, de modo
a ter uma medida complementar de desempenho de acordo com o nmero de classes e
amostras utilizadas. Neste caso de estudo, o valor deste coeficiente foi de 0.918, o que
86
face aos dados anteriores revela uma eficcia de classificao elevada, pelo facto de ser
um valor acima de 0.8, um valor considerado muito bom.
4.3.3.2 Mapeamento de Materiais com Anlise de Misturas e Validao de Autentici-

dade
Para demonstrar alguns dos resultados obtidos com este mtodo apresenta-se em seguida
a classificao efectuada sobre as algumas pinturas de Amadeo para as quais tinham sido
adquiridas imagens hiperespectrais. Nas figuras 4.14, 4.15 e 4.16 podem visualizar-se as
imagens RGB de trs das pinturas em anlise, assim como alguns dos resultados expe-
rimentais obtidos para esses trs casos. Utilizou-se o valor de 15 pontos para definir o
intervalo de tolerncia de cor CIELab para quando duas cores so semelhantes de modo a
identificar a amostra EDXRF respectiva para cada pixel. Em termos de condio de iden-
tificao dos pigmentos puros utilizou-se o valor de 0.75 para a percentagem da distncia
entre os dois ngulos mnimos. Estes dois valores foram gerais a todas as pinturas nas
quais foi aplicado o algoritmo.
Figura 4.14: (a) Imagem RGB da pintura Mucha. (b) Resultado geral da classificao para
teste. (c) Visualizao individual de uma mistura de Red Vermillion e Yellow Cr, dois
pigmentos puros
Anlise dos Resultados Tal como foi referido no captulo anterior, a visualizao o
menos importante neste mtodo, sendo o seu ponto forte a anlise de diferentes zonas da
pintura, incidindo essa anlise na identificao de misturas e na validao de autentici-
dade de zonas da pintura. Aos historiadores e conservadores, interessa extrair tambm
informao em termos percentuais: a percentagem de pixels classificados como "Zona
No Analisada" (PZN ), ou seja, onde no houve uma anlise EDXRF; a percentagem de
pixels classificados como "No Amadeo" (PN A ), ou seja, no pertencentes a Amadeo; a
percentagem de pixels pertencentes a pigmentos puros (PP P ); e por fim a percentagem de
pixels pertencentes a misturas de pigmentos (PM P ). Em todos os casos, o que se pretendia
87
Figura 4.15: (a) Imagem RGB da pintura Doutor. (b) Resultado geral da classificao para
teste. (c) Visualizao individual de uma mistura de Red Vermillion e Yellow Ochre, dois
pigmentos puros
obter era o resultado da diviso entre o nmero de pixels classificados em cada caso e o
nmero de pixels total da imagem hiperespectral.
As figuras 4.14 (b), 4.15 (b) e 4.16 (b) mostram o resultado geral da classificao com
todos os pixels mapeados para trs dos casos de estudo analisados. As zonas estranhas
podem identificar-se pela cor rosa em cada uma das pinturas. Contudo, a anlise pode
efectuar-se de outras formas, perspectivando j a construo de uma interface grfica que
englobe o resultado do mtodo no futuro.
Figura 4.16: (a) Imagem RGB da pintura Geometrico. (b) Resultado geral da classificao
para teste. (c) Visualizao individual de um pigmento puro, o Red Vermillion
O utilizador pode desejar visualizar apenas as reas com um determinado pigmento

puro ou com uma mistura de pigmentos individualmente, surgindo mapeados apenas os
pixels pertencentes a essa escolha. As figuras 4.14 (c) e 4.15 (c) mostram a identificao de
88
todos os pixels com uma dada mistura. No caso da pintura Mucha, trata-se de uma mis-
tura de Red Vermillion com Yellow Cr, enquanto que na pintura Doutor se trata de uma
mistura de pigmento Red Vermillion e Yellow Ochre, todos pigmentos existentes na base
de dados de Amadeo. Esta identificao efectuada revelou-se substancialmente correcta
pois na realidade a grande maioria das zonas identificadas correspondia uma mistura
real destes dois pigmentos. Na figura 4.16 (c), pode visualizar-se todas as zonas iden-
tificadas como pertencentes ao pigmento puro Red Vermillion, sendo um identificao
bastante eficaz.
Na pintura Doutor de realar, por exemplo, a identificao correcta de algumas
misturas de Viridian com Yellow Ochre, assim como a identificao de alguns pigmentos
puros como o caso do Esmerald (realado por um verde mais carregado na figura 4.15
(b)) ou do Laranja de Cdmio, identificvel pela cor laranja na figura 4.15 (b). No caso
da pintura em questo possvel ainda realar outro factor. A rosa esto identificados
todos os pixels classificados como pertencentes "Zona No Analisada" verificando-se de
facto vrias pequenas zonas onde a anlise elementar no foi efectivamente efectuada. O
facto desta pintura apresentar uma enorme variabilidade de pigmentos e misturas torna
a anlise EDXRF mais restrita quando efectuada num determinado ponto.
Outra das opes o utilizador escolher um ponto para anlise e o programa retornar
quais os pigmentos ou misturas de pigmentos presentes naquele ponto, assim como a
respectiva percentagem dos pigmentos presentes na mistura quando tal possvel. Por
exemplo, tomando como referncia a figura 4.15 (a), facilmente identificvel a zona ime-
diatamente acima do ombro direito do doutor pintada com uma cor verde. Seleccionando
um ponto dessa zona o programa retorna como resultado uma mistura de Yellow Ochre
e Viridian, sendo esta mistura uma abordagem simplificada da mistura de pigmentos tal
como j foi referido.
Em termos de percentagens requisitadas pelos historiadores, para os casos de estudo
em que o mtodo foi aplicado apresentam-se na tabela 4.11. O mtodo foi aplicado a cinco
pinturas autnticas, todavia para duas pinturas apresentam-se apenas as percentagens
calculadas.
(%) PZN PN A PP P PM P
Caso de Estudo: Mucha 4.8 0.0 51.4 43.8
Caso de Estudo: Doutor 11.6 0.0 51.5 36.9
Caso de Estudo: Guitarra 5.4 0.0 23.1 71.5
Caso de Estudo: Janelas 2.8 0.0 28.2 69.0
Caso de Estudo: Geometrico 3.7 0.0 31.4 64.9
Tabela 4.11: Resultados da classificao aplicada aos vrios casos de estudo.
Analisando as percentagens obtidas para os cinco casos de estudo conclui-se que

existe uma quantidade de pequenas zonas onde a anlise EDXRF no foi efectuada de
facto ou cujas amostras no englobam essas zonas em ambas as pinturas. Neste caso
destaca-se a pintura Doutor onde a percentagem de zonas no analisadas foi maior,
89
devendo-se sua enorme variabilidade de pigmentos e tonalidades.
Em termos de zonas "No Amadeo" no foi identificada qualquer zona em qualquer

uma das pinturas pois todos os elementos presentes nas amostras EDXRF pertenciam a
Amadeo. Pode-se verificar que a condio implementada permite identificar zonas na
pintura que no tenham sido feitas pela mo do pintor. Contudo a nvel da soluo no
se pode afirmar que esta condio permita classificar pinturas em termos de autentici-
dade de modo a ser integrada no classificador combinado de pinturas. Talvez no futuro,
atravs da definio de um threshold sobre a percentagem de zonas "No Amadeo" numa
pintura, seja possvel construir um classificador de pinturas com base nesta condio.
Esse classificador no englobou parte da soluo proposta na dissertao pelo facto de
existirem poucos dados para construir algo robusto e consistente, que pudesse ser sufici-
entemente fivel. Assim, esta condio apenas til para identificar pixels contidos numa
imagem hiperespectral que contenham materiais que no coincidam com a base de dados
de Amadeo.
Em relao aos pigmentos puros, existem vrias zonas identificadas em todas as pin-
turas, o que era de todo espectvel de encontrar, destacando-se a identificao do Laranja
de Cdmio e do Esmeralda na pintura Doutor. A pintura Geometrico contm vrias zo-
nas onde foram identificados pigmentos puros, como o caso do Esmerald, do Red Car-
mine e do Red Vermillion. De referir ainda a presena de uma quantidade significativa de
pigmento branco em todos os casos de estudo, sendo essa identificao mais significativa
no caso de estudo da pintura Mucha e da pintura Guitarra.
Por fim, possvel verificar a existncia de grande parte das pinturas cobertas por
misturas de pigmentos. No caso da pintura Guitarra, alm da identificao de algumas
zonas com o pigmento branco, todo o restante da pintura coberta por misturas de pig-
mentos, o mesmo se passando praticamente com o caso de estudo das Janelas.
Porm, devido diferena j referida entre os espectros dos pigmentos puros e os

espectros contidos na imagem hiperespectral, algumas misturas no foram identificadas
correctamente assim como alguns pigmentos puros que deveriam ter sido identificados
e foram atribudos a misturas de pigmentos. Este tipo de erros j era espectvel, contudo
quando uma zona dominada por um pigmento na ordem dos 90% para 10% do outro
pigmento presente na mistura, isto pode levar concluso que a presena do outro pig-
mento muito reduzida ou quase inexistente. De referir ainda que os dados apresenta-
dos so dependentes do valor atribudo a cada um dos thresholds do algoritmo. Alterando
qualquer um dos thresholds a percentagem obtida ser certamente diferente em cada um
dos casos. Os valores escolhidos foram os mesmos para todas as pinturas onde o mtodo
foi aplicado.
90
4. R ESULTADOS 4.4. Classificao de Pinturas Baseada em Diferentes Tipos de Anlise
4.4 Classificao de Pinturas Baseada em Diferentes Tipos de

Anlise
Este classificador tinha como objectivo integrar dois tipos de anlise sobre uma pintura
com vista a verificao de autenticidade ou atribuio da mesma. Ambos os classificado-
res anteriores foram construdos de forma independente. Isto , no caso da assinatura,
existiam assinaturas no treino que no se conhecia a pintura a que pertenciam. Tam-
bm no caso do classificador com base na pincelada, existia uma quantidade significativa
de pinturas que no possua assinatura. Face aos resultados obtidos com cada um dos
classificadores procedeu-se sua integrao num nico classificador.
Ao nvel do treino, devido quantidade algo reduzida de quadros com assinatura,
assumiu-se que cada um dos classificadores poderia ser treinado de forma independente
com os respectivos dados para cada um dos casos. Para ser possvel integrar os dados
num classificador conjunto, o conjunto de teste dever ser o mesmo para cada um dos
classificadores. Assim, invs do conjunto de teste ser escolhido aleatoriamente, um pe-
rito em arte seleccionou um conjunto de pinturas com assinatura para o conjunto de
teste, sendo este fixo. Ao contrrio dos classificadores anteriores, neste caso o teste do
classificador consiste apenas numa iterao pois existe apenas um conjunto de teste fixo.
Tendo em conta as configuraes referidas construram-se dois classificadores, diferindo,
semelhana dos casos anteriores, nos dados de entrada do algoritmo. Cada tipo de ca-
ractersticas tem um peso ao nvel da classificao, todavia neste caso atribui-se o peso
de 50% a cada um dos tipos de caractersticas, assim tanto a anlise de assinatura como a
anlise da pincelada contam de igual modo para a classificao final.
4.4.1 Atribuio de Pinturas
A atribuio do autor de pinturas consiste no problema de classificao entre duas classes

"Amadeo" e "Outros Pintores". Isto , dada uma determinada pintura, o classificador
deve identificar se pertence ao pintor em estudo, neste caso Amadeo, ou a um outro
pintor. A tabela 4.12 mostra a distribuio dos dados para efeitos de classificao. O
conjunto de treino no classificador de assinaturas constitudo por 111 imagens dividas
em duas classes, enquanto que no caso do classificador de pincelada so 248 imagens de
pinturas no total. Ao nvel do teste, este o mesmo para ambos os classificadores, sendo
composto por um total de 67 imagens divididas em duas classes.
(#) Treino Assinaturas Treino Pincelada Teste Conjunto

Amadeo 55 144 56
Outros Pintores 56 104 11
Tabela 4.12: Distribuio dos dados para atribuio de pinturas com base no classificador
conjunto de pinturas.
91

Classificador
(%) Assinatura Pincelada
Combinado
Positivos Correctos 98.2 98.0 100
Falsos Positivos 0.0 9.0 0.0
Falsos Negativos 1.8 2.0 0.0
Accuracy 98.5 97.0 100
Tabela 4.13: Resultados obtidos na classificao de atribuio pinturas com base no clas-
sificador combinado utilizando a SIFT.
Os resultados revelam que ambos os classificadores se compensaram mutuamente,

conseguindo obter o nvel mximo de eficcia. De realar que os classificadores no er-
ram ao classificar as mesmas imagens, da o facto de a accuracy de nenhum deles ser
100%, mas depois a nvel final ser de 100%, acabando cada um deles por corrigir o erro
do outro. Para demonstrar a eficcia deste mtodo face a outros j existentes apresenta-se
em seguida os resultados obtidos com os filtros de Gabor para a mesma configurao de
treino e teste 4.14.
Classificador
Combinado
Positivos Correctos 87.5 83.9 89.3
Accuracy 80.6 80.6 85.1
Tabela 4.14: Resultados obtidos na classificao de atribuio pinturas com base no clas-
sificador combinado utilizando os filtros de Gabor.
Os resultados obtidos com os filtros de Gabor demonstram mais uma vez a menor
eficcia em resolver o problema pretendido, sendo o desempenho geral do classificador
combinado significativamente inferior que o classificador combinado utilizando as carac-
tersticas SIFT.
4.4.2 Atribuio e Autenticao de Pinturas

Devido ao facto de s existirem cinco pinturas falsificadas com assinatura, no foi pos-
svel construir um classificador dedicado exclusivamente autenticidade de pinturas.
Assim, semelhana da anlise de assinaturas, construiu-se um classificador que resolve
ambos os problemas, atribuio de autor e autenticidade de pinturas com base num clas-
sificador combinado. Ou seja, como classe positiva define-se a classe das pinturas per-
tencentes a "Amadeo" e como classe negativa define-se a classe de pinturas que no per-
tencem a Amadeo ("No Amadeo"), podendo ser falsificaes ou pertencentes a outro
pintor. A tabela 4.15 mostra a distribuio dos dados para efeitos de classificao. O con-
junto de treino no classificador de assinaturas constitudo por 116 imagens divididas
92
em duas classes, enquanto que no caso do classificador de pincelada so 256 imagens de

pinturas no total. Ao nvel do teste, este o mesmo para ambos os classificadores, sendo
composto por um total de 72 imagens divididas em duas classes.
(#) Treino Assinaturas Treino Pincelada Teste Conjunto

Amadeo 55 144 56
No Amadeo 61 112 16
Tabela 4.15: Distribuio dos dados para atribuio e autenticao de pinturas com base
no classificador conjunto de pinturas.

Classificador
Combinado
Positivos Correctos 96.4 98.2 100
Accuracy 97.2 97.2 100
Tabela 4.16: Resultados obtidos na classificao de atribuio e autenticidade pinturas

com base no classificador combinado utilizando a SIFT.
Tal como o caso anterior, tambm neste caso o classificador combinado permitiu ob-
ter a eficincia mxima possvel em distinguir as assinaturas de cada uma das classes.
A quantidade de dados de teste da classe negativa reduzida pela dificuldade em en-
contrar pinturas de outros pintores com a respectiva assinatura. semelhana dos casos
anteriores, tambm neste caso se efectuou a mesma classificao mas utilizando os filtros
de Gabor como caractersticas de entrada no classificador. Os resultados obtidos para
este classificador encontram-se descritos na tabela 4.17, revelando novamente a eficcia
inferior deste tipo de caractersticas face utilizao da SIFT.
Classificador
Combinado
Positivos Hit 92.8 83.9 91.1
Accuracy 81.9 80.5 83.3
Tabela 4.17: Resultados obtidos na classificao de atribuio e autenticidade pinturas

com base no classificador combinado utilizando os filtros de Gabor.
Face aos resultados obtidos e aps a comparao com uma tcnica com inmeros
resultados obtidos ao nvel do estado da arte, pode-se afirmar que o classificador cons-
trudo robusto e pode ser submetido a casos de estudo com vista obteno de novas
concluses.
93
4. R ESULTADOS 4.5. Discusso
4.4.2.1 Casos de estudo
Construdo o classificador anterior que resolve os problemas da atribuio e autentici-

dade de pinturas submeteu-se o classificador ao teste de trs casos de estudo. Os casos de
estudo eram constitudos por duas pinturas assinadas com uma assinatura semelhante
ao "pouchoir" de Amadeo e uma terceira com uma assinatura com o nome do pintor.
Ainda no existe um veredicto final quanto autenticidade das mesmas, contudo a ter-
ceira das pinturas foi alvo de uma peritagem que revelou um estilo muito semelhante ao
de Amadeo, podendo mesmo pertencer ao pintor.
Para analisar estes casos utilizou-se uma das percentagens produzidas pelo classifica-
dor, mais concretamente a percentagem de pertencer classe positiva (classe "Amadeo").
De referir que abaixo ou igual a 50% a pintura em teste considerada como pertencente
classe negativa, caso contrrio assinalada como pertencente classe positiva. Conside-
rando as mesmas condies do classificador anterior, obtiveram-se os resultados expres-
sos na tabela 4.18.
Classificador
Combinado
Caso de Estudo 1 99.3 99.9 99.6
Caso de Estudo 2 98.0 82.6 90.3
Caso de Estudo 3 71.0 99.8 85.9
Tabela 4.18: Resultados obtidos para os trs casos de estudo submetidos ao classificador
combinado de pinturas.
Os resultados do classificador combinado so inequvocos, todos os casos de estudo

foram classificados como positivos com uma percentagem razoavelmente elevada, o que
sugere que este no tem qualquer dvidas em atribuir cada um dos casos classe po-
sitiva, ou seja, "Amadeo". Tanto o classificador de assinaturas como o classificador de
pincelada corroboram o resultado do classificador final sem qualquer dvida. Apesar
de no caso de estudo 3 uma peritagem ter concludo com forte probabilidade que a pin-
tura poder ser mesmo autntica do pintor, o que revela que o classificador poder estar
efectivamente correcto, para os restantes dois casos no h ainda um estudo efectivo e
conclusivo.
4.5 Discusso
Neste captulo foram apresentados os vrios testes aos mtodos construdos, permitindo
efectuar vrios tipos de anlise. No geral pode-se afirmar que os mtodos apresentam
um desempenho geral bastante significativo, ficando alguns dos mtodos por validar de
uma forma robusta devido a vrios factores.
No mbito da anlise de assinaturas podem-se realar vrias evidncias:
Inicialmente o desenvolvimento iniciou-se com uma quantidade bastante reduzida
94
de dados em termos de assinaturas falsificadas e de outros pintores. Em termos de

assinaturas falsificadas procedeu-se construo em meio laboratorial de algumas
assinaturas falsificadas para tornar os dados das falsificaes mais completos. Em
termos de assinaturas de outros pintores recorreu-se a pesquisas na web de modo
a encontrar novas assinaturas.
O tratamento dos dados foi indispensvel para a obteno de resultados positivos.

Inicialmente verificou-se que, devido textura dos quadros, muitas caractersticas
eram provenientes do fundo. A extraco do fundo no foi to eficaz em alguns
casos, continuando as pores de fundo existentes a interferir nos resultados dos
mtodos. Assim, apesar de nada automtico e bastante trabalhoso, tornou-se ne-
cessrio extrair o background das imagens utilizando uma ferramenta de edio de
imagem.
O mtodo para agrupamento de assinaturas apresentou resultados positivos, em-

bora se tenham verificado algumas falhas pontuais. Estudos sobre Amadeo de
Souza-Cardoso revelam que o pintor tinha principalmente dois perodos artsticos.
Ainda com algumas excepes, o mtodo permitiu encontrar uma separao entre
esses perodos. Contudo, seria necessrio um outro conjunto de dados para validar
o mesmo.
O classificador baseado nas caractersticas de assinaturas permitiu resolver vrios

problemas de acordo com o tipo de assinatura. Para demonstrar a robustez do
mtodo construiu-se um classificador dedicado atribuio de autor de assinatu-
ras, um para verificao de autenticidade e um outro que juntava estes dois con-
ceitos. Os resultados obtidos foram positivos, revelando um desempenho relativa-
mente elevado em todos os casos. Para demonstrar a eficcia do mtodo construdo,
comparou-se o mesmo mtodo com a utilizao dos filtros de Gabor, revelando uma
eficcia relativamente menor. Pelos testes efectuados considera-se um classificador
robusto, podendo ser aplicado a outros conjuntos de dados.
Em relao ao classificador com base nas caractersticas de pincelada, no havia inte-

resse em testar a eficcia do mesmo pois este j tinha revelado resultados significativos no
mbito do projecto. Porm, anteriormente os resultados obtidos tinham como base um
conjunto de treino e teste fixo escolhido por historiadores. Os resultados descritos neste
captulo apresentam uma validao ao longo de 10 iteraes, sendo em cada uma delas
escolhido um conjunto de treino e teste aleatrio. Novamente de realar a eficcia do
classificador, sendo comparado tambm com o mesmo mtodo mas utilizando os filtros
de Gabor, o qual revelou uma eficcia bem menor.
A nvel do mapeamento dos materiais possvel tirar vrias concluses com base nas
anlises efectuadas:
95
O primeiro mtodo construdo consistia num algoritmo de classificao supervisi-

onada. Apesar deste mtodo requerer a definio de uma base de dados de espec-
tros de referncia por um perito, a classificao pode ser adaptada de acordo com
o objectivo da anlise. Este mtodo destaca-se pela flexibilidade, permitindo v-
rios tipos de classificao e respectiva visualizao dos resultados. A anlise dos
resultados por um perito em anlise de obras de arte revelou uma classificao bas-
tante eficaz. O mapeamento dos pixels correspondentes apenas a um nico espectro
de referncia da base de dados permitiu uma anlise direccionada a determinadas
zonas do quadro, permitindo aos historiadores dividir a pintura em vrias zonas.
A visualizao por um perito era de certo modo eficiente para avaliar os objectivos
pretendidos, contudo surgiu a necessidade de uma avaliao mais eficaz. Com base
em alguns processos de avaliao relatados no estado da arte, construiu-se um m-
todo de avaliao baseado em regies de interesse para cada material. Este mtodo
de avaliao tem a fragilidade de no ser global a toda a pintura, restringindo-se
a 169 valores para cada um dos espectros de referncia. Contudo praticamente
impossvel definir um mtodo global para toda a pintura, pois a imagem hiperes-
pectral captada possui milhes de pixels. Ainda assim, tendo como referncia o
mtodo de avaliao utilizado verificou-se um desempenho elevado na classifica-
o.
Face ao aspecto menos automtico do mtodo anterior, os historiadores e peritos

mostraram interesse em possuir um mtodo mais automtico. Para isso procedeu-
se ao desenvolvimento de um mtodo baseado no agrupamento de pixels pelo algo-
ritmo K-Means. O desenvolvimento deste mtodo fez emergir alguns problemas,
um deles o facto de atribuir uma cor a cada cluster de modo a construir um resul-
tado visual. No estado da arte existia j um mtodo semelhante que projectava cada
um dos clusters numa base de dados de espectros de referncia atravs da utilizao
do SAM, contudo esse passo tornava o mtodo novamente pouco automtico. As-
sim optou-se por atribuir uma cor aos pixels de cada cluster baseada no centride do
respectivo cluster, recorrendo extraco da cor a partir da informao do prprio
espectro. Este mtodo possui alguma flexibilidade ao permitir mapear cada um dos
clusters individualmente, todavia parece ser ineficaz a detectar alguns pigmentos,
como o caso do pigmento preto, que para o caso de estudo foi inexistente. Para este
mtodo no foi possvel construir qualquer mtodo de avaliao devido incerteza
gerada pelo nmero de clusters que o utilizador escolhe.
A classificao com base de dados externa baseou-se em duas anlises. A primeira

anlise efectuada, utilizando um conjunto de amostras adquiridas numa pintura
falsificada com a tcnica FORS, revelou uma classificao bastante eficaz. Este m-
todo semelhante classificao supervisionada, apenas com a diferena na forma
como a base de dados de referncia definida. A classificao e a visualizao de
96
resultados apresentavam a flexibilidade j enunciada, sendo a classificao avali-

ada recorrendo ao mesmo mtodo j utilizado para a classificao supervisionada.
Apesar de para alguns pigmentos no ser possvel definir regies de interesse para
avaliao, os resultados obtidos com as restantes regies revelaram uma eficcia
significativa.
No mapeamento de materiais com anlise das misturas e validao de autentici-
dade verificaram-se resultados que criam vrias perspectivas para o futuro, tanto
a nvel da identificao correcta das misturas, como de zonas no analisadas ou de
zonas no pertencentes a Amadeo. Apesar de em termos de visualizao no ser
um mtodo eficaz, em termos de resultados permitiu aos historiadores e conserva-
dores identificar mais rapidamente zonas de misturas com maior rapidez e eficcia.
Por vezes, as misturas atribudas a essas zonas no foram as mais correctas, algo
que aceitvel pelo facto da soma linear de espectros ser apenas uma aproximao
que no pode ser tomada como regra geral para todos os casos. Inicialmente o ob-
jectivo principal no seria identificar as misturas, mas sim as zonas da pintura com
misturas, no sendo necessrio indicar quais os pigmentos presentes. Contudo face
ao desafio corrente de resolver tambm essa questo, procedeu-se construo de
uma abordagem aproximada para a sua resoluo.
Por fim surge o classificador combinado de pinturas. Este classificador permitiu resol-
ver dois problemas: atribuio de autor de pinturas e atribuio/autenticidade de pintu-
ras. Devido escassez de pinturas falsificadas com assinatura, no foi possvel construir
um classificador dedicado exclusivamente verificao de autenticidade de pinturas.
Este classificador era um dos grandes objectivos do projecto em que a dissertao est in-
serida, revelando resultados positivos. De realar que apesar das quantidades reduzidas
de pinturas no pertencentes a Amadeo de Souza-Cardoso, ambos os classificadores re-
velaram uma eficcia de 100%. Submeteram-se ao classificador construdo trs pinturas
sobre as quais no existe ainda um veredicto se pertencem a Amadeo de Souza-Cardoso
ou no. Os resultados destes trs casos de estudo podem ajudar os historiadores a tirar
algumas concluses. Porm, por vezes, podem surgir situaes inesperadas, como o caso
de uma pintura autntica do pintor sobre a qual foi colocada uma assinatura falsa. Estes
casos extremos exigem uma anlise dos resultados obtidos com ambos os classificadores
individuais (assinatura e pincelada), podendo mesmo o resultado final revelar uma clas-
sificao da pintura no limiar entre pinturas falsas e verdadeiras. A integrao da anlise
dos materiais nesta classificao poderia ser uma soluo para o problema.
97
98
5
Concluses e Trabalho Futuro
Neste captulo sero apresentadas as concluses retiradas do trabalho efectuado, assim

como algumas perspectivas para o futuro em termos de trabalho a realizar.
5.1 Concluses
Em termos de concluses pode enumerar-se um conjunto significativo de resultados que
abrem boas perspectivas para o desenvolvimento futuro.
Ao mtodo para identificao de perodos artsticos faltou uma validao mais efi-
caz com outro conjunto de dados, o que o tornaria mais robusto. Contudo os resultados
obtidos so razoveis apesar de pela anlise se identificarem falhas pontuais no agrupa-
mento. Essas falhas no comprometem de todo a sua eficcia j que foram identificados
os principais perodos na vida de Amadeo de Souza-Cardoso.
O mtodo de classificao de pinturas baseado em caractersticas das assinaturas era
um dos grandes objectivos da dissertao. Com o classificador construdo foi possvel
resolver dois problemas: atribuio e autenticidade. Para demonstrar a eficcia do clas-
sificador, utilizaram-se outro tipo de caractersticas, os filtros de Gabor. A configurao
com as caractersticas SIFT revelou nos trs problemas uma eficcia geral do classificador
acima dos 90%, em alguns casos perto dos 100%, o que revela uma classificao bastante
eficaz. A classificao utilizando os filtros de Gabor foi relativamente menos assertiva, o
que revela neste caso em particular a adequao das caractersticas SIFT para resolver o
problema.
O mtodo de classificao de pinturas baseado em caractersticas de pincelada j ha-
via sido construdo anteriormente, tendo sido feitos apenas testes para demonstrar que
o classificador realmente eficaz com uma filosofia diferente de validao, relativamente
99
5. C ONCLUSES E T RABALHO F UTURO 5.1. Concluses
aos conjuntos de treino e teste fixos que haviam sido construdos anteriormente. Estes
revelaram uma percentagem de acerto perto dos 95%, o que mais uma vez constitui um
resultado significativo.
O mapeamento de materiais atravs de classificao supervisionada combinando duas
das tcnicas mais utilizadas ao nvel do estado da arte revelou resultados bastante posi-
tivos. A construo da base de dados a partir de amostragem da prpria imagem hipe-
respectral da pintura fez com que a base de dados de espectros de referncia tivesse as
mesmas condies de iluminao e rudo que a imagem hiperespectral, o que melhorou
a classificao. A anlise do classificador no totalmente ilustrativa do seu desempe-
nho total mas impossvel no caso de pinturas construir um mtodo que permita validar
todos os resultados do classificador, pois estes so na ordem dos milhes de pixels classi-
ficados.
O mapeamento de materiais atravs de classificao no-supervisionada permitiu
identificar algumas das zonas com materiais semelhantes, todavia a sua aplicao nunca
identificou o pigmento preto, sendo este incorporado nos pigmento branco e nos res-
tantes clusters obtidos, o que constituiu uma limitao. Exceptuando esse factor, pode
constituir um mtodo que permita aos historiadores analisar quais os materiais que se
realam medida que o nmero de clusters aumenta.
Os resultados da classificao com base de dados externa utilizando a informao
captada com a tcnica FORS permitiram efectuar um mapeamento eficaz e bastante efec-
tivo para qualquer uma das situaes em que foi aplicado, quer seja para o caso de estudo
relatado como para a outra pintura falsificada onde foi tambm aplicada. Tal como j foi
referido anteriormente, esta eficcia refora a ideia de que a cmara hiperespectral e a
tcnica FORS produzem informao bastante semelhante podendo ser comparada.
O mapeamento de materiais com anlise das misturas e validao de autenticidade
permitiu analisar com mais pormenor as obras de arte do pintor em estudo, no se res-
tringindo a uma base de dados fixa. A anlise das misturas, excepo de alguns casos,
foi razoavelmente assertiva relativamente s informaes que se conheciam das pintu-
ras. De realar que apesar deste ser um dos problemas que o mtodo se prope resolver,
a metodologia escolhida para anlise das misturas consiste numa abordagem que no se
aplica em termos colorimtricos, e que em termos de curvas espectrais por vezes conduz
a erros ao nvel do classificao. A condio de verificao de autenticidade revelou ser
bastante eficaz nos casos testados, tendo sido de 0% em ambas as pinturas autnticas nas
quais foi aplicada. Este mtodo carece de validao devido inexistncia de uma anlise
com o mtodo EDXRF nas duas pinturas falsificadas para as quais existiam as imagens
hiperespectrais restantes, ficando esse teste para o futuro. Para o futuro fica tambm
um teste mais robusto da condio de verificao de autenticidade com vista integra-
o deste tipo de informao no classificador combinado de pinturas. Devido escassez
de imagens hiperespectrais para construo de um mtodo mais robusto, esta condio
dever ser testada no futuro sendo integrada num classificador de pinturas.
Por fim, surge o classificador combinado de pinturas baseado em diferentes tipos de
100
5. C ONCLUSES E T RABALHO F UTURO
anlise. Devido impossibilidade de integrar a anlise dos materiais na classificao tal

como era objectivo, este foi construdo apenas com a informao da pincelada e das assi-
naturas. A escassez de imagens hiperespectrais no permitiu assim incluir a anlise dos
materiais no classificador combinado pois algumas pinturas para as quais havia imagem
hiperespectral no tinham assinatura, o que impossibilitava a integrao. Ainda assim,
o classificador combinado permitiu resolver dois problemas: (1) atribuio e (2) atribui-
o e autenticidade conjuntamente. No foi possvel construir um classificador apenas
dedicado resoluo do problema autenticidade devido escassez de falsificaes com
assinatura. Porm os resultados mostram uma eficcia de 100% nos dois casos, o que
revela uma classificao sem qualquer falha. Enquanto os classificadores individuais se
equivocaram na classificao de algumas pinturas, acabaram por se corrigir mutuamente
e o resultado final positivo tendo em conta a quantidade de dados existente. A classifi-
cao utilizando os filtros de Gabor revelou-se mais uma vez no adequada para resolver
o problema em questo. Este classificador poder constituir no futuro uma ferramenta
fiel para verificao da autenticidade e atribuio de autor de pinturas de Amadeo de
Souza-Cardoso, um dos principais objectivos do projecto.
5.2 Trabalho Futuro

Em termos de trabalho futuro no mbito do projecto em que a dissertao est integrada
possvel enunciar dois objectivos a realizar num futuro mais prximo. Em primeiro lugar,
seria vantajoso construir uma interface grfica que incidisse sobre o mtodo de anlise
das misturas e validao de autenticidade de modo a ser acessvel a todos os utilizadores
sem qualquer experincia de programao. Este no era um objectivo da dissertao mas
seria uma grande vantagem para os historiadores ter uma ferramenta que os auxiliasse
nas deslocaes aos museus, permitindo efectuar uma anlise rpida sobre a pintura atra-
vs de uma aplicao com uma interface grfica acessvel e de fcil usabilidade, mesmo
que esta fosse direccionada numa primeira fase para um nico pintor.
Outra das perspectivas de futuro encontra-se no classificador combinado de pinturas,
faltando no momento a integrao da anlise dos materiais nesse mesmo classificador.
At ao trmino da dissertao tal no foi possvel pela razo da quantidade de pinturas
com imagem hiperespectral ser reduzida, o que impossibilitou a combinao dos resul-
tados da classificao de pinturas e de assinaturas com o resultado obtido com a anlise
dos materiais. De realar tambm que as pinturas estudadas neste trabalho e para as
quais existia uma anlise EDXRF no estavam presentes no conjunto de pinturas utiliza-
das no conjunto de teste do classificador combinado, da a impossibilidade para juntar a
informao, sendo esta uma perspectiva para trabalho futuro.
101
5. C ONCLUSES E T RABALHO F UTURO
102
Bibliografia
[22604] Optimal classification methods for mapping agricultural tillage practices.

Remote Sensing of Environment, 91(1):9097+, Maio 2004.
[ABM06] Stephane Armand, Michael Blumenstein, e Vallipuram Muthukkumara-

samy. Off-line signature verification based on the modified direction fe-
ature. In International Conference on Pattern Recognition (ICPR 2006), pg.
509512, Hong Kong, 2006.
[ANP07] P. Antonopoulos, N. Nikolaidis, e I. Pitas. Hierarchical face clustering

using SIFT image features. In Computational Intelligence in Image and Signal
Processing, 2007. CIISP 2007. IEEE Symposium on, pg. 325329, Honolulu,
Hawaii, 2007. IEEE Computer Society.
[BC97] Reena Bajaj e Santanu Chaudhury. Signature verification using multiple

neural classifiers. Pattern Recognition, 30(1):17, Janeiro 1997.
[BL97] Jeffrey S. Beis e David G. Lowe. Shape indexing using approximate

nearest-neighbour search in high-dimensional spaces. In Proceedings of
the 1997 Conference on Computer Vision and Pattern Recognition (CVPR 97),
CVPR 97, pg. 1000, Washington, DC, USA, 1997. IEEE Computer Soci-
ety.
[BPvdH09] Igor Berezhnoy, Eric O. Postma, e H. Jaap van den Herik. Automatic
extraction of brushstroke orientation from paintings. Mach. Vis. Appl.,
20(1):19, 2009.
[BYRN99] Ricardo A. Baeza-Yates e Berthier Ribeiro-Neto. Modern Information Retri-

eval. Addison-Wesley Longman Publishing Co., Inc., Boston, MA, USA,
1999.
[CRB00] Hyeokho Choi, Justin Romberg, e Richard Baraniuk. Hidden markov

tree modeling of complex wavelet transforms. In International Conference
103
B IBLIOGRAFIA
on Acoustics, Speech, and Signal Processing, pg. 133136, Istanbul, Turkey,

2000. IEEE.
[CS93] Jean-Franois Cardoso e Antoine Souloumiac. Blind beamforming for non

gaussian signals. IEE Proceedings-F, 140:362370, 1993.
[dAeTdC04] Maria Joo de Alvarenga e Teles do Carvalhal. Digitalizao de Pintura

Artstica com Imagiografia Hiperespectral. Tese de Mestrado, Universi-
dade do Minho - Escola de Cincias, Braga, Portugal, 2004.
[DHD+ 06] B. Deronde, R. Houthuys, W. Debruyn, D. Fransaer, V. Van Lancker, e J. P.

Henriet. Use of Airborne Hyperspectral Data and Laserscan Data to Study
Beach Morphodynamics along the Belgian Coast. Journal of Coastal Rese-
arch, 22:11081117, 2006.
[DHR04] P.E. Dennison, K.Q. Halligan, e D.A. Roberts. A comparison of error me-
trics and constraints for multiple endmember spectral mixture analysis
and spectral angle mapper. Remote Sensing of Environment, 93(3):359367,
2004.
[DIL+ 04] G. Dimauro, S. Impedovo, M. G. Lucchese, R. Modugno, e G. Pirlo. Recent

advancements in automatic signature verification. In Frontiers in Handwri-
ting Recognition, 2004. IWFHR-9 2004. Ninth International Workshop on, pg.
179184, Los Alamitos, CA, 2004. IEEE Computer Society.
[DZT+ 10] J. K. Delaney, J. G. Zeibel, M. Thoury, R. Littleton, M. Palmer, K. M. Mo-

rales, E. R. de La Rie, e A. Hoenigswald. Visible and infrared imaging
spectroscopy of picassos harlequin musician: Mapping and identification
of artist materials in situ. Applied spectroscopy, 64(6):584594, 2010.
[FA91] William T. Freeman e Edward H. Adelson. The design and use of steerable
filters. IEEE Trans. Pattern Anal. Mach. Intell., 13(9):891906, 1991.
[FB81] Martin A. Fischler e Robert C. Bolles. Random sample consensus: A para-

digm for model fitting with applications to image analysis and automated
cartography. Communications of the ACM, 24(6):381395, 1981.
[FFLT] Rob Fergus Fei-Fei Li e Antonio Torralba. Bag-of-features mo-

dels. http://www.cs.unc.edu/~lazebnik/spring09/lec18_
bag_of_features.pdf.
[FM02] Xiaoguang Feng e Peyman Milanfar. Multiscale principal components

analysis for image local orientation estimation. In Proceedings of the 36th
Asilomar Conference on Signals, Systems and Computers, pg. 478482, Pacific
Grove, California, 2002.
104
B IBLIOGRAFIA
[FRDF01] Ricardo J. Ferrari, Rangaraj M. Rangayyan, J. E. Leo Desautels, e An-

nie France Frre. Analysis of asymmetry in mammograms via directio-
nal filtering with gabor wavelets. IEEE Trans. Med. Imaging, 20(9):953964,
2001.
[Gab46] Dennis Gabor. Theory of communication. J. Inst. Elect. Eng., 93:429457,

1946.
[GBHD04] G. Girouard, A. Bannari, A. Harti, e A. Desrochers. Validated spec-

tral angle mapper algorithm for geological mapping: comparative study
between QuickBird and Landsat-TM. In XXth ISPRS Congress, Geo-Imagery
Bridging Continents, Istanbul, Turkey, July 2004.
[GGL+ 03] H. Gomez-Moreno, P. Gil-Jimenez, S. Lafuente-Arroyo, R. Vicen-Bueno, e

R. Sanchez-Montero. Color images segmentation using the support vector
machines. Recent Advances in Intelligent Systems and Signal Processing, pg.
151155, 2003.
[HR04] S. Homayouni e M. Roux. Hyperspectral image analysis for material map-

ping using spectral matching. In XXth ISPRS Congress, Geo-Imagery Brid-
ging Continents, Istanbul, Turkey, July 2004.
[HY97] Kai Huang e Hong Yan. Off-line signature verification based on geometric
feature extraction and neural network classification. Pattern Recognition,
30(1):917, Janeiro 1997.
[jai02] On-line signature verification. Pattern Recognition, 35(12):29632972, De-

zembro 2002.
[JAMB08] M. Bautista S. Maspoch J. Coello J.M. Amigo, J. Cruz e M. Alcal

M. Blanco. Study of pharmaceutical samples by nir chemical-image and
multivariate analysis. Trends in Analytical Chemistry, 27(8):696 713, 2008.
[JBS05] Edson Justino, Flavio Bortolozzi, e Robert Sabourin. A comparison of SVM

and HMM classifiers in the off-line signature verification. Pattern Recogni-
tion Letters, 26(9):13771385, Julho 2005.
[JG05] Nathaniel P. Jacobson e Maya R. Gupta. Design goals and solutions for
display of hyperspectral images. In International Conference on Image Pro-
cessing (ICIP 2005), pg. 622625, Genoa, Italy, September 2005. IEEE.
[JHB+ 08] C Richard Johnson, Ella Hendriks, Igor Berezhnoy, Eugene Brevdo, Shan-
non Hughes, Ingrid Daubechies, Jia Li, Eric Postma, e James Z Wang.
Image processing for artist identification. IEEE Signal Processing Magazine,
25(4):3748, July 2008.
105
B IBLIOGRAFIA
[KR05] Leonard Kaufman e Peter J. Rousseeuw. Finding Groups in Data: An Intro-

duction to Cluster Analysis (Wiley Series in Probability and Statistics). Wiley-
Interscience, Maro 2005.
[KSX04] Meenakshi K. Kalera, Sargur Srihari, e Aihua Xu. Offline signature veri-
fication and identification using distance statistics. International Journal of
Pattern Recognition and Artificial Intelligence, 18(7):13391360, 2004.
[Kuc07] S. Kuching. The performance of maximum likelihood, spectral angle map-

per, neural network and decision tree classifiers in hyperspectral image
analysis. Journal of Computer Science, 3(6):419423, 2007.
[KY05] Alisher Kholmatov e Berrin Yanikoglu. Identity authentication using im-

proved online signature verification method. Pattern Recognition Letters,
26(15):24002408, Novembro 2005.
[LdS06] Patricio Loncomilla e Javier Ruiz del Solar. A fast probabilistic model for
hypothesis rejection in sift-based object recognition. In 11th Iberoamerican
Congress on Pattern Recognition (CIARP 2006), pg. 696705, Cancun , Me-
xico, June 2006. Springer.
[Lee96] Tai Sing Lee. Image representation using 2d gabor wavelets. IEEE Trans.
Pattern Analysis and Machine Intelligence, 18:959971, 1996.
[Low04] David G. Lowe. Distinctive image features from scale-invariant keypoints.

International Journal of Computer Vision, 60:91110, 2004.
[LP94] F. Leclerc e R. Plamondon. Automatic signature verification: the state of

the art-1989-1993. Intl. Journal of Pattern Recognition and Artificial Intelli-
gence, 8(3):643660, 1994.
[MGW+ 05] J. T. Mundt, N. F. Glenn, K. T. Weber, T. S. Prather, L. W. Lass, e J. Pettin-

gill. Discrimination of hoary cress and determination of its detection limits
via hyperspectral image processing and accuracy assessment techniques.
Remote Sensing of Environment, 96(3):509517, 2005.
[MJC+ 12] C. Montagner, R. Jesus, N. Correia, M.J. Melo, M. Villarigues, R. Macedo,

e H. de Freitas. Unveiling the hand of a 19th century artist with binary
image classification and bag-of-features. In Systems, Signals and Image Pro-
cessing (IWSSIP), 2012 19th International Conference on, pg. 201204, Vi-
enna, Austria, April 2012. IEEE.
[MMR+ 01] K.-R. Mller, S. Mika, G. Rtsch, S. Tsuda, e B Schlkopf. An introduction

to kernel-based learning algorithms. IEEE Transactions on Neural Networks,
12(2):181202, 2001.
106
B IBLIOGRAFIA
[MMS03] D. Manolakis, D. Marden, e G. A. Shaw. Hyperspectral image proces-

sing for automatic target detection applications. Lincoln Laboratory Journal,
14(1):79116, 2003.
[MRB06] B. Majhi, Y. S. Reddy, e D. P. Babu. Novel features for off-line signature

verification. International Journal of Computers, Communications & Control,
1(1):1724, 2006.
[NJT06] Eric Nowak, Frederic Jurie, e Bill Triggs. Sampling strategies for bag-of-
features image classification. In European Conference on Computer Vision,
Graz, 2006.
[OKM00] T. Ohishi, Y. Komiya, e T. Matsumoto. On-line signature verification using

pen-position, pen-pressure and pen-inclination trajectories. In 15th Inter-
national Conference on Pattern Recognition, pg. 547550, Barcelona, Spain,
September 2000. IEEE Computer Society.
[OSK05] E. zgndz, T. Sentrk, e M. Karsligil. Off-Line Signature Verification

And Recognition By Support Vector Machine. In 13th European Signal Pro-
cessing Conference (EUSIPCO 2005), Antalya, Turkey, Setembro 2005.
[Ots79] Nobuyuki Otsu. A Threshold Selection Method from Gray-level Histo-

grams. IEEE Transactions on Systems, Man and Cybernetics, 9(1):6266, 1979.
[PD05] V. S. N. Prasad e J. Domke. Gabor filter visualization. Relatrio tcnico,

University of Maryland, 2005.
[PDMDRP08] A. Pelagotti, A. Del Mastio, A. De Rosa, e A. Piva. Multispectral imaging

of paintings. Signal Processing Magazine, IEEE, 25(4):2736, 2008.
[Pea01] K. Pearson. On lines and planes of closest fit to systems of points in space.
Philosophical Magazine, 2(6):559572, 1901.
[Pla99] John C. Platt. Probabilistic Outputs for Support Vector Machines and
Comparisons to Regularized Likelihood Methods. In Advances in Large
Margin Classifiers, pg. 6174. MIT Press, 1999.
[PS03] Tomaso Poggio e Steve Smale. The mathematics of learning: dealing with
data. Notices Amer. Math. Soc., 50(5):537544, 2003.
[PWLS07] B. Park, W. R. Windham, K. C. Lawrence, e D. P. Smith. Contaminant clas-

sification of poultry hyperspectral imagery using a spectral angle mapper
algorithm. Biosystems engineering, 96(3):323333, 2007.
[rui08] Offline Signature Verification Using Local Interest Points and Descriptors.
In 13th Iberoamerican congress on Pattern Recognition: Progress in Pattern Re-
cognition, Image Analysis and Applications (CIARP 08), pg. 2229, Havana,
Cuba, June 2008.
107
B IBLIOGRAFIA
[RYP03] R. Rifkin, G. Yeo, e T. Poggio. Regularized least-squares classification.

Nato Science Series Sub Series III Computer and Systems Sciences, 190:131154,
2003.
[SBF07] LinLin Shen, Li Bai, e Michael Fairhurst. Gabor wavelets and general
discriminant analysis for face identification and verification. Image Vision
Comput., 25(5):553563, Maio 2007.
[SBT98] H. E. S. Said, K. D. Baker, e T. N. Tan. Personal identification based on

handwriting. In Fourteenth International Conference on Pattern Recognition,
pg. 17611764 vol.2, Brisbane, Australia, August 1998. IEEE.
[SG64] A. Savitzky e M. J. E. Golay. Smoothing and differentiation of data by

simplified least squares procedures. Analytical Chemistry, 36:16271639,
1964.
[She09] Jialie Shen. Stochastic modeling western paintings for effective classifica-
tion. Pattern Recognition, 42(2):293301, 2009.
[SMG99] Y. Sohn, E. Moran, e F. Gurri. Deforestation in North-Central

yucatan(1985-1995)- mapping secondary succession of forest and agricul-
tural land use in sotuta using the cosine of the angle concept. PE & RS-
Photogrammetric Engineering & Remote Sensing, 65(8):947958, 1999.
[SR02] Y. Sohn e N. S. Rebello. Supervised and unsupervised spectral angle clas-

sifiers. Photogrammetric engineering and remote sensing, 68(12):12711282,
2002.
[TKDO03] J. Scott Tyo, Athanasios Konsolakis, David I. Diersen, e Richard Chris-

topher Olsen. Principal-components-based display strategy for spectral
imagery. IEEE T. Geoscience and Remote Sensing, 41(3):708718, 2003.
[Vai06] C. Vaiphasa. Consideration of smoothing techniques for hyperspectral re-

mote sensing. ISPRS journal of photogrammetry and remote sensing, 60(2):91
99, 2006.
[Wah99] Grace Wahba. Support vector machines, reproducing kernel Hilbert spa-
ces and the randomized GACV. In B. Schlkopf, C. J. C. Burges, e A. J.
Smola, editores, Advances in Kernel Methods: Support Vector Learning, pg.
6988. MIT Press, Cambridge, MA, 1999.
[YGB92] R. H. Yuhas, A. F. H. Goetz, e J. W. Boardman. Discrimination among semi-

arid landscape endmembers using the spectral angle mapper (SAM) algo-
rithm. In Summaries of the Third Annual JPL Airborne Geoscience Workshop,
volume 1, pg. 147149, 1992.
108
B IBLIOGRAFIA
[Zha04] Harry Zhang. The optimality of naive bayes. In Seventeenth Internatio-

nal Florida Artificial Intelligence Research Society Conference (FLAIRS 2004),
Miami Beach, Florida, USA, 2004. AAAI Press.
[ZMM06] Hongqin Zhang, David W. Messinger, e Ethan D. Montag. Perceptual dis-

play strategies of hyperspectral imagery based on pca and ica. In Proce-
edings of SPIE, Algorithms and Technologies for Multispectral, Hyperspectral,
and Ultraspectral Imagery XII, volume 6233, Orlando, Florida, April 2006.
[ZVC11] Yingxuan Zhu, Pramod K. Varshney, e Hao Chen. Ica-based fusion for
colour display of hyperspectral images. Int. J. Remote Sens., 32(9):2427
2450, Maio 2011.
109
B IBLIOGRAFIA
110
6
Apndice
6.1 Lista de Elementos Qumicos Materiais Puros
Material Elementos
Red Vermillion Hg
Red carmine Sr
Raw Sienna Fe, As
Terra Rossa Fe, As
Orange Cd Cd
Yellow Ochre Fe
Yellow Cr Cr
Violet Co
Cerulean Blue Co, Sn, Ni
Cobalt Blue Co
Prussian Blue Fe
Green Cd Cd, Se
Viridian Cr
Ultramarine Al, Si
White Pb
Black -
Esmerald Cu, As
Tabela 6.1: Elementos qumicos presentes em cada um dos materiais puros de Amadeo
de Souza Cardoso.
111

Análise e Identificação de Obras de Arte - 2012 PDF

Caricato da

Informazioni sul documento

Titolo originale

Copyright

Formati disponibili

Condividi questo documento

Condividi o incorpora il documento

Opzioni di condivisione

Hai trovato utile questo documento?

Questo contenuto è inappropriato?

Copyright:

Formati disponibili

Análise e Identificação de Obras de Arte - 2012 PDF

Caricato da

Copyright:

Formati disponibili

Pedro Filipe Marques de Almeida

Licenciado em Engenharia Informtica

Anlise e Identificao de Obras de Arte

Dissertao para obteno do Grau de Mestre em

Orientadores : Nuno Correia, Prof. Catedrtico, Universidade

Anlise e Identificao de Obras de Arte

A Faculdade de Cincias e Tecnologia e a Universidade Nova de Lisboa tm o direito,

Fundao para a Cincia e a Tecnologia (FCT) pelo apoio financeiro prestado no

Ao meu orientador, Nuno Correia, pela confiana, disponibilidade, liberdade e su-

dedicao excepcional da aluna de Doutoramento em Conservao e Restauro,

Ao professor Srgio Nascimento, Departamento de Fsica da Universidade do Minho,

Ao professor Marcello Picollo, Instituto de Fsica Aplicada Nello Carrara, IFAC-

Ao professor Joo Pedro Martins de Almeida Lopes, Investigador Auxiliar na Fac-

minha famlia, em especial minha me Emilia Almeida e minha av Eugnia

Tradicionalmente, a anlise de obras de arte era efectuada apenas por historiadores e

Palavras-chave: Processamento de imagem, Autenticidade, Atribuio, Assinaturas,Anlise

Keywords: Image processing, Authenticity, Atribution, Signatures, Material Analysis,

2.5.4 Visualizao de Imagens Hiperespectrais Principal-Components-Based 28

3 Anlise de Obras de Arte 39

4.4.2 Atribuio e Autenticao de Pinturas . . . . . . . . . . . . . . . . . 92

5 Concluses e Trabalho Futuro 99

2.1 SIFT Keypoints [Low04]. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8

3.1 Diagrama do sistema desenvolvido para anlise de obras de arte. . . . . . 40

3.16 Fluxograma de deciso construdo para classificao. . . . . . . . . . . . . 59

4.1 Imagens presentes no cluster 1 . . . . . . . . . . . . . . . . . . . . . . . . . 72

4.13 Amostragem das regies de interesse para validao do classificador . . . 86

3.1 Exemplo da metodologia de validao da classificao dos materiais puros. 65

4.1 Distribuio dos dados para atribuio de assinaturas. . . . . . . . . . . . 75

4.15 Distribuio dos dados para atribuio e autenticao de pinturas com

6.1 Elementos qumicos presentes em cada um dos materiais puros de Ama-

1.2 Descrio e Objectivos

1. Verificao da autenticidade e atribuio de autor de pinturas baseada nas caracte-

2. Identificao de perodos na vida artstica do pintor de acordo com as caractersticas

3. Reconstruo do classificador de autenticidade e atribuio de pinturas baseado em

5. Classificao de pinturas baseada em diversos tipos de informao, combinando

Face existncia de um conjunto de assinaturas autnticas e assinaturas falsificadas

1.3 Soluo Apresentada

de Souza-Cardoso, utilizou um conjunto de assinaturas para autenticar as suas obras. O

1.4 Principais Contribuies

1. Um sistema para verificao de autenticidade e atribuio de autor de pinturas

2. Uma ferramenta para agrupamento de assinaturas de acordo com caractersticas

3. Reconstruo do classificador de pinturas com base nas caractersticas de pincelada

4. Um mtodo para agrupamento de pixels semelhantes numa imagem hiperespectral

5. Um sistema para validao de autenticidade e atribuio de autor de pinturas ba-

1.5 Estrutura do Documento

1. Introduo: Neste captulo apresenta-se uma viso geral da dissertao, realando

2. Trabalho Relacionado: Apresenta uma viso geral e resumida de alguns trabalhos

3. Anlise de Obras de Arte: Este captulo relata o desenvolvimento das tcnicas de

5. Concluses e Trabalho Futuro: Por fim, apresentam-se as concluses resultantes de

Este captulo descreve alguns trabalhos de investigao que se relacionam directamente

2.2 Extraco de Caractersticas

2.2.1 SIFT Scale Invariant Feature Transform

Figura 2.1: SIFT Keypoints [Low04].

O pargrafo anterior apresenta um resumo do mtodo, contudo a identificao dos

mtodo invariante translao da imagem, mudana de escala, rotao, parcial-

2.2.2 Gabor Filter

Mais especificamente, o Gabor Filter definido como o produto de um kernel gaussi-

A tcnica Bag-of-Features surgiu a partir do mtodo Bag-of-Words utilizado no processa-

da utilizao, por exemplo, da tcnica SIFT; (2) aprendizagem do "vocabulrio visual",

2.3 Anlise Computacional de Obras de Arte

2.3.1 Tcnica de Extraco da Orientao Dominante

Quando os peritos analisam obras de arte, as caractersticas espaciais so um dos prin-

A fase de extraco da orientao (ver figura 2.4) transforma o fragmento resultante