Documenti di Didattica
Documenti di Professioni
Documenti di Cultura
Captulo 7
Mapas Auto-Organizados
de Kohonen - SOM
Neste captulo estudaremos um dos mais populares algoritmos na categoria de
aprendizado no-supervisionado, as RNAs conhecidas como Mapas Auto-Organizados de
Kohonen (Self-Organizing Map - SOM).
Os Mapas Auto-Organizados so redes competitivas que possuem a habilidade de
formar mapeamentos que preservam a topologia entre os espaos de entrada e de sada. As
redes SOM so utilizadas em muitos projetos industriais como ferramentas para resolver
problemas prticos de difcil soluo. Diversos campos da cincia adotaram os SOMs como
uma ferramenta analtica padro. Dentre eles encontram-se campos como: a estatstica, o
processamento de sinais, a teoria de controle, a anlise financeira, a fsica experimental, a
qumica e a medicina.
As RNAs SOM resolvem problemas no-lineares de alta dimensionalidade, tais
como: extrao de caractersticas e classificao de imagens e padres acsticos, controle
adaptativo de robs, equalizao, demodulao e transmisso de sinais. Alm disso, cabe
salientar que o SOM um dos modelos representativos
biolgica do crebro.
O texto apresentado neste captulo segue basicamente Haykin em [3] (sob a forma
de uma traduo livre, resumida) e tutoriais e artigos do Professor Teuvo Kohonen,
amplamente divulgados em [1] e [2].
As redes SOM so baseadas no aprendizado competitivo. Os neurnios de sada da
RNA competem entre si para serem ativados, com o resultado de que apenas um neurnio
de sada (ou um neurnio por grupo) est "ligado" a qualquer instante. Um neurnio de
sada que vence tal competio chamado neurnio vencedor (winner-takes-all neuron).
Uma maneira de induzir tal tipo de competio entre os neurnios de sada usar conexes
inibitrias laterais entre eles (ou seja, caminhos de realimentao negativa), idia
originalmente proposta por Rosenblatt em 1958.
Os neurnios em uma rede SOM so colocados nos ns de uma trelia (lattice) que
usualmente de uma ou duas dimenses. Mapas de dimenses maiores so tambm
possveis, porm mais raros.
Os neurnios se tornam seletivamente "sintonizados" a vrios estmulos (padres de
entrada) ou
Competio.
Para cada padro de entrada, os neurnios da rede computam os seus
respectivos valores de uma funo discriminante. Esta funo prov as
bases para a competio entre os neurnios. O particular neurnio com
o maior valor de funo discriminante declarado vencedor da
competio.
2.
Cooperao.
O neurnio vencedor determina a localizao espacial de uma
vizinhana topolgica de neurnios excitados, provendo, desta forma,
as bases para a cooperao entre tais neurnios vizinhos.
3.
Adaptao sinptica.
Este ltimo mecanismo permite aos neurnios excitados aumentar
seus valores individuais da funo discriminante em relao ao padro
de entrada, atravs de ajustes adequados aplicados a seus pesos
sinpticos. Os ajustes feitos so tais que a resposta do neurnio
vencedor subseqente aplicao de um padro similar de entrada
realada.
x = [ x1 x 2 ... x m ]T
(7.1)
w j = [w j1 w j 2 ... w jm ]T , j = 1,2,! ,l
(7.2)
(7.3)
Esta operao assume que o mesmo threshold seja aplicado a todos os neurnios.
(Lembre que, conforme vimos no Captulo 4, quando uma polarizao (ou bias) aplicada
a um neurnio, seu efeito representado por uma sinapse de peso b conectada a uma
entrada fixa e igual a (+1). De forma alternativa, a polarizao pode ser gerada por uma
sinapse de peso conectada a uma entrada de valor fixo e igual a (1), quando, ento,
recebe o nome de threshold.)
T
(7.4)
1.
2.
h j , i( x)
d 2j ,i
= exp
2 2
(7.5)
(7.6)
(7.7)
d 2j ,i
, n = 0 ,1,2 ,"
h j , i ( x ) (n ) = exp
2 2 (n )
(7.8)
onde (n ) definido pela Equao (7.7). Assim, medida que o tempo n (isto , o nmero
de iteraes) aumenta, a largura (n ) diminui a uma taxa exponencial, e a vizinhana
topolgica encolhe de forma correspondente. Doravante iremos nos referir a h j,i (x ) (n )
como a funo de vizinhana.
Outra forma de interpretar a variao da funo de vizinhana h j,i (x ) (n ) ao redor de
um neurnio vencedor i (x ) considerar que o propsito da largura h j,i (x ) (n )
10
w j do
( )
( )
( )
( )
( )
g y j = 0 para y j = 0
(7.9)
Dada uma tal funo, podemos ento expressar a mudana no vetor de pesos
sinpticos do neurnio j na trelia, conforme segue:
( )
w j = y j x g y j w j
(7.10)
( )
satisfazer a condio dada pela Equao (7.9), escolhe-se uma funo linear para g y j ,
conforme
( )
g y j = y j
(7.11)
11
(7.12)
w j = h j,i (x ) x w j
(7.13)
w j (n +1) = w j (n ) + (n ) h j,i (x ) (n ) x w j (n )
(7.14)
o qual aplicado a todos os neurnios na trelia que esto dentro da vizinhana topolgica
do neurnio vencedor i.
A equao (7.14) tem o efeito de mover o vetor de pesos sinpticos w i do neurnio
vencedor i na direo do vetor de entrada x . Sob repetidas apresentaes dos dados de
treino, os vetores de pesos sinpticos tendem a seguir a distribuio dos vetores de entrada,
devido atualizao da vizinhana. O algoritmo, portanto, conduz a uma ordenao
topolgica do mapa de caractersticas no espao de entrada, no sentido de que os neurnios
que so adjacentes na trelia tendero a ter vetores de pesos sinpticos similares.
A equao (7.14) a expresso desejada para computar os pesos sinpticos do mapa
de caractersticas. Em adio a esta equao, entretanto, necessrio considerar-se a
heurstica dada pela Equao (7.8) para selecionar a funo de vizinhana h j,i (x ) (n ) e uma
heurstica adicional para selecionar o parmetro razo de aprendizado (n ) .
O parmetro razo de aprendizado (n ) deve variar com o tempo, como indicado na
Equao (7.14). Em particular, a razo de aprendizado deve iniciar em um valor 0 , e,
ento, decrescer gradualmente com o aumento do tempo n. Esta condio pode ser satisfeita
escolhendo um decaimento exponencial para (n ) , conforme
n
(n ) = 0 exp
2
; n = 0,1,2 ,"
12
(7.15)
0 = 0.1 e 2 = 1000 .
13
1 =
1000
log 0
2. Fase de convergncia.
Esta segunda fase do processo adaptativo necessria para o "ajuste fino" do
mapa de caractersticas e, portanto, para prover uma quantificao estatstica
acurada do espao de entrada.
Como regra geral, o nmero de iteraes que constituem a fase de
convergncia deve ser pelo menos 500 vezes o nmero de neurnios
presentes na rede.
Assim, a fase de convergncia pode durar por milhares e, possivelmente, por
dezenas de milhares de iteraes:
14
15
Na fase de ordenao as Equaes (7.8) e (7.15) podem ser usadas para determinar,
respectivamente, a funo de vizinhana e o parmetro razo de aprendizado (isto ,
durante aproximadamente as primeiras 1000 iteraes).
Na fase de convergncia, para obter boa preciso estatstica, (n ) deve ser mantido
em um valor pequeno (0.01 ou menor) por um longo perodo de tempo, o qual equivale a
milhares de iteraes e, no comeo da fase de convergncia, a funo de vizinhana deve
conter apenas os vizinhos mais prximos do neurnio vencedor podendo, eventualmente,
encolher para um ou mesmo para zero neurnios vizinhos.
H trs passos bsicos envolvidos na aplicao do algoritmo, aps a inicializao:
amostragem, verificao de similaridade e atualizao. Estes trs passos so repetidos at
que a formao do mapa de caractersticas esteja completa. O algoritmo sumariado como
segue:
1. Inicializao:
Para a inicializao dos vetores de pesos sinpticos, w j (0), so escolhidos valores
aleatrios, com a restrio de que w j (0) seja diferente para j = 1,2, ! , l ; onde l o
2. Amostragem:
Um vetor x extrado do espao de dados de entrada, com uma associada
probabilidade de ocorrncia. Este vetor representa o padro de ativao que
aplicado trelia. A dimenso do vetor x igual a m.
16
3. Verificao de Similaridade:
O neurnio vencedor i (x ) (best-matching neuron) no instante de tempo n
encontrado, utilizando-se o critrio da mnima distncia Euclidiana (conforme
Equao (7.4)):
4. Atualizao:
Os vetores de pesos sinpticos de todos os neurnios so ajustados atravs da
Equao (7.14):
17
(7.16)
A Equao (7.16) pode ser vista como uma abstrao da Equao (7.4), a qual
define a localizao de um neurnio vencedor i (x ) a partir de um vetor de entrada x .
Por exemplo, em um contexto neurobiolgico, o espao de entrada pode
representar o conjunto de coordenadas de receptores sensoriais fsicos distribudos
densamente pela superfcie do corpo. Correspondentemente, o espao de sada poder
representar o conjunto de neurnios localizados naquela camada do crtex cerebral qual
os receptores sensoriais fsicos esto confinados.
Dado um vetor de entrada x , o algoritmo SOM inicialmente identifica um neurnio
vencedor i (x ) , que seja o mais semelhante no espao de sada , de acordo com o mapa
de caractersticas . O vetor de pesos sinpticos w i do neurnio i (x ) pode, ento, ser
visto como um ponteiro para aquele neurnio no espao de entrada ; ou seja, os
elementos sinpticos do vetor w i podem ser vistos como as coordenadas da imagem do
neurnio i projetado no espao de entrada. Estas duas operaes encontram-se
representadas na Figura 7.3.
18
2.
O mapa de caractersticas
4.
http://www.cis.hut.fi
http://www.shef.ac.uk
S. Haykin, Neural Networks, 2nd ed., Prentice Hall, Upper Saddle River, New Jersey,
1999.
19