Documenti di Didattica
Documenti di Professioni
Documenti di Cultura
PARTE I
INTRODUO
1.1. HEURSTICAS
As principais caractersticas de uma heurstica so:
consiste em um mtodo ou tcnica aproximativa;
desenvolvido para resolver um tipo de problema;
tempo mximo polinomial (ideal);
no garantem solues timas.
1.2. METAHEURSTICAS
As principais caractersticas de uma metaheurstica so:
consiste em um mtodo ou tcnica aproximativa;
resolve de forma genrica:
problemas de otimizao;
classificao;
agrupamentos, etc
heursticas de uso geral ou heurstica de heursticas;
boas solues mas, no garantem solues timas [Viana, 1998];
podem ser definidas como heursticas derivadas da Natureza rea limite entre a
Pesquisa Operacional e a Inteligncia Artificial [Colorni et al., 1996];
inspiradas na Fsica, Biologia, Cincias Sociais;
operam atravs de repeties de tentativas;
utilizam um ou mais agentes (neurnios - RNA, partculas - SA ou PSO, cromossomos - AG,
formigas ACO);
usam mecanismo de competio-cooperao;
so geralmente aplicadas a problemas que no se conhece algoritmo eficiente;
geram bons resultados em problemas de otimizao combinatorial NP-hard (No-Polinomial
rduo um problema que pelo menos to difcil quanto qualquer problema em NP; a classe
NP-Completo contm os problemas de maior dificuldade dentre todos em NP).
As metaheursticas mais usadas so:
Genetic Algorithm ou Algoritmo Gentico (AG);
Artificial Neural Networks ou Redes Neurais Artificiais (RNA ou RN);
Simulated Annealing ou Tmpera Simulada (SA);
Tabu Search ou Busca Tabu (BT);
Particle Swarm Optimization ou Nuvem de partculas (PSO);
Ant Colony Optimization ou Colnia de Formigas (ACO);
Metaheursticas e Aplicaes
Universidade Federal do Paran Departamento de Expresso Grfica Prof. Paulo Henrique Siqueira
Metaheursticas e Aplicaes
alg. construtivos
Espao
no-estruturado
Espao
estruturado
Espao
estruturado
Soluo nica
Soluo de
populao
Soluo nica
Soluo de
populao
RNA
MS
GR
ACO
alg. de
GRASP
AG, ES
SA, TS
melhorias
MS: Algoritmo Multistart Algoritmo que inicia de diferentes pontos iniciais
GR: Greedy Random Mtodo de procura randmica gulosa
ACO: Ant Colony Optimization Colnia de Formigas
ES Evolution Strategies
SC Sampling and Clustering Amostragem e Agrupamento.
SC
Caractersticas importantes
grau de exploitation (profundidade)
esforo da busca local em regies do espao de busca;
se a regio promissora, procure mais profundamente.
grau de exploration (amplitude)
esforo da procura em regies distantes;
algumas vezes se escolhe uma soluo em uma regio distante;
aceita-se uma soluo pior para descobrir novas solues;
probabilidade de encontrar melhores solues.
So caractersticas conflitantes: uma boa troca entre elas muito importante e devem ser
cuidadosamente afinadas em cada algoritmo.
Outra troca que deve ser avaliada: esforo (nmero de iteraes) x eficcia (soluo final).
Alguns algoritmos usam um parmetro de controle:
tambm chamado de taxa de aprendizagem ou de equilbrio;
varia lentamente para evitar timos locais e permitir uma explorao maior do espao de
solues;
quanto mais lentamente variar, maior a probabilidade de encontrar uma soluo tima
global;
existem metaheursticas para procurar o valor timo deste parmetro de controle.
Universidade Federal do Paran Departamento de Expresso Grfica Prof. Paulo Henrique Siqueira
Metaheursticas e Aplicaes
PARTE II
REDES NEURAIS ARTIFICIAIS
Uma rede neural artificial consiste de um modelo inspirado no crebro humano.
Tem habilidade de adquirir e armazenar conhecimento para realizar uma tarefa.
A motivao biolgica tem os elementos bsicos que so neurnios ou ns.
Universidade Federal do Paran Departamento de Expresso Grfica Prof. Paulo Henrique Siqueira
Metaheursticas e Aplicaes
Relevncia matemtica:
A matemtica utilizada em RNA para:
desenvolver e propor algoritmos
o lgebra linear, anlise, estatstica, otimizao, fsica, geometria
investigar aplicabilidade, avaliar algoritmos
o estatstica
investigar propriedades tericas
o lgebra, anlise, lgebra linear, anlise funcional
Universidade Federal do Paran Departamento de Expresso Grfica Prof. Paulo Henrique Siqueira
Metaheursticas e Aplicaes
Dendritos: entradas
Corpo celular:
o Soma ponderada
o Funo no-linear
Axnio: distribuio aos neurnios
Equao entrada-sada: y k = f ( y *k ) = f w k i x i + k
i =1
1 , se y * k 0
Funo de ativao f chamada de sinal: f ( y * k ) =
1 , se y * k < 0
Universidade Federal do Paran Departamento de Expresso Grfica Prof. Paulo Henrique Siqueira
Metaheursticas e Aplicaes
Entretanto, na maioria dos casos, o bias pode ser interpretado como um peso sinptico
conectado a uma entrada constante.
Qual o papel do bias?
Notaes para o bias: k, bk, w0
Cada n na camada seguinte recebe a soma dos valores produzidos pelas conexes que
chegam at ele.
Cada n realiza uma computao simples sobre esse valor: funo sigmide, limiar ou tanh
O processo repetido com os resultados sendo passados atravs de camadas subsequentes de
ns at que os ns de resultados sejam atingidos (camada de sada).
Universidade Federal do Paran Departamento de Expresso Grfica Prof. Paulo Henrique Siqueira
Metaheursticas e Aplicaes
2.2. PERCEPTRON
um tipo de rede neural usado para conjuntos de treinamento linearmente separveis
(Rosenblatt, 1950).
n
S = w0 + w j x j
j =1
Universidade Federal do Paran Departamento de Expresso Grfica Prof. Paulo Henrique Siqueira
Metaheursticas e Aplicaes
Algoritmo do Perceptron:
0. Inicializar os pesos, o bias e a taxa de aprendizado: w = 0, = 0, = 1
1. Enquanto o critrio de parada no for satisfeito, execute os passos 2-6:
2. Para cada par de dados de treinamento (x,d), execute os passos 3-5:
3. Calcule y* = + ixiwi
4. Se y* > , ento y = 1
Se - y* , ento y = 0
Se y* < -, ento y = -1
5. Atualize os pesos e a tendncia:
Se y d, faa
wi(novo) = wi(atual) + dxi e (novo) = (atual) + d
Caso contrrio
wi(novo) = wi(atual) e (novo) = (atual)
6. Teste a condio de parada.
Funcionamento de um perceptron:
(a) As entradas (b) Separao inicial do espao (c) Separao final [Demuth, 1994]
Os valores finais encontrados para os pesos e bias foram:
w1 = -2,1642; w2 = -0,6922; = -0,6433
Perceptrons podem achar solues diferentes se iniciarem o processo de aprendizado de
diferentes condies iniciais. A rede anterior foi treinada novamente, e uma soluo
satisfatria, separando totalmente as entradas, foi encontrada, porm com diferentes valores:
w1 = -2,1642; w2 = 0,0744; = -0,6433
Exerccios:
1. Classificao da funo lgica E com entradas 0-1 e sadas bipolares:
Valores iniciais: = 0,2 = 1 = 0 w = 0
1 iterao:
x1
x2
d
1
1
1
1
0
-1
0
1
-1
0
0
-1
Universidade Federal do Paran Departamento de Expresso Grfica Prof. Paulo Henrique Siqueira
10
Metaheursticas e Aplicaes
x2 classe
0,75 A
0,25 B
0,75 B
0,25 A
x1
-0,6508
-1,4492
2,0850
0,2626
0,6418
0,2569
1,1155
0,0914
0,0121
-0,0429
0,4340
0,2735
0,4839
0,4089
1,4391
x2
0,1097
0,8896
0,6876
1,1476
1,0234
0,6730
0,6043
0,3399
0,5256
0,4660
0,6870
1,0287
0,4851
-0,1267
0,1614
x3
4,0009
4,4005
12,0710
7,7985
7,0427
8,3265
7,4446
7,0677
4,6316
5,4323
8,2287
7,1934
7,4850
5,5019
8,5843
d
-1,0000
-1,0000
-1,0000
1,0000
1,0000
-1,0000
1,0000
-1,0000
1,0000
1,0000
-1,0000
1,0000
-1,0000
-1,0000
-1,0000
n
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
x1
-0,9115
0,3654
0,2144
0,2013
0,6483
-0,1147
-0,7970
-1,0625
0,5307
-1,2200
0,3957
-0,1013
2,4482
2,0149
0,2012
x2
-0,1973
1,0475
0,7515
1,0014
0,2183
0,2242
0,8795
0,6366
0,1285
0,7777
0,1076
0,5989
0,9455
0,6192
0,2611
x3
2,1962
7,4858
7,1699
6,5489
5,8991
7,2435
3,8762
2,4707
5,6883
1,7252
5,6623
7,1812
11,2095
10,9263
5,4631
d
-1,0000
1,0000
1,0000
1,0000
1,0000
-1,0000
1,0000
1,0000
1,0000
1,0000
-1,0000
-1,0000
1,0000
-1,0000
1,0000
Universidade Federal do Paran Departamento de Expresso Grfica Prof. Paulo Henrique Siqueira
11
Metaheursticas e Aplicaes
Conjunto de testes:
n
1
2
3
4
5
6
7
8
9
10
x1
-0,3665
-0,7842
0,3012
0,7757
0,157
-0,7014
0,3748
-0,03
0,122
-0,147
x2
0,062
1,1267
0,5611
1,0648
0,8028
1,0316
0,1536
0,3145
0,9877
0,461
x3
5,9891
5,5912
5,8234
8,0677
6,3040
3,6005
6,1537
11,068
-0,006
5,353
no bolso
bolso
classificou corretamente
Universidade Federal do Paran Departamento de Expresso Grfica Prof. Paulo Henrique Siqueira
12
Metaheursticas e Aplicaes
Algoritmo do Bolso
bolso
i i i
4. Se y* > , ento y = 1
Se - y* , ento y = 0
Se y* < -, ento y = -1
5. Atualize os pesos e a tendncia:
Se y d, faa
wi(novo) = wi(atual) + dxi e (novo) = (atual) + d
Caso contrrio
wi(novo) = wi(atual) e (novo) = (atual)
bolso
bolso
7.
w
= w; grave o nmero de exemplos corretos
Teste a condio de parada.
Universidade Federal do Paran Departamento de Expresso Grfica Prof. Paulo Henrique Siqueira
13
Metaheursticas e Aplicaes
FUNES DE ATIVAO
Limiar: sadas em [0,1] ou [-1,1]
1 , se x k
f (xk ) =
1 , se x k <
exk ex k 1 e2xk
=
exk + ex k 1 + e2xk
f
2
= 1 f ( xk ) > 0
x k
= 0,9
= 0,5
= 0,3
1
1 + e xk
exk
f
=
x k
1 + ex k
=2
=1
= 0,5
( x k c )2
22
f
e
= ( xk c )
x k
x 2 2cx + c2
22
onde c o centro.
Universidade Federal do Paran Departamento de Expresso Grfica Prof. Paulo Henrique Siqueira
14
Metaheursticas e Aplicaes
=2
= 1,3
= 0,8
FORMAS DE APRENDIZAGEM
A caracterstica principal das RNA a aprendizagem atravs da experincia. Esta
aprendizagem pode ser feita das seguintes formas:
Supervisionada
apresenta-se rede um conjunto de
treinamento com a sada desejada
de cada padro;
a distncia entre a sada desejada e
a sada da rede usada como erro e
serve para corrigir os pesos da
rede.
No-supervisionada
a rede atualiza os parmetros e pesos sem o controle
de sadas desejadas para os padres de entrada;
a rede descobre sozinha as propriedades das entradas,
e constri a sada baseando-se nestas descobertas.
Com reforo
cada entrada possui uma indicao (reforo) da sada
desejada;
o reforo constitui de penalidade para respostas ruins e estmulo para as respostas
boas;
os pesos da rede ajustam-se para
melhorar os estmulos dos reforos;
no existe uma medida para as
respostas desejadas.
Universidade Federal do Paran Departamento de Expresso Grfica Prof. Paulo Henrique Siqueira
15
Metaheursticas e Aplicaes
Autoassociao:
Heteroassociao:
Classificao:
Memria associativa:
Um determinado conceito A lembra o conceito B.
Por exemplo:
Entrada
Hipotenusa
Derivada
Seno
Sada
lembra
lembra
lembra
Geometria
Clculo
Trigonometria
Universidade Federal do Paran Departamento de Expresso Grfica Prof. Paulo Henrique Siqueira
Metaheursticas e Aplicaes
Com realimentao:
Os sinais dos neurnios percorrem a
rede nas duas direes.
Recorrentes:
Os sinais dos neurnios percorrem a rede nas duas
direes.
Os sinais de alguns neurnios alimentam neurnios da
mesma camada, ou das camadas anteriores, alm de camadas
posteriores.
Em alguns casos os prprios neurnios so conectados a si
mesmos.
Competitivas:
Os dados de entrada so designados a um mapa de
neurnios, e escolhe-se o vencedor (que possui peso mais
prximo da entrada).
Ocorrem os ajustes dos pesos dos neurnios, com o
objetivo de minimizar as distncias dos dados de entrada aos
respectivos neurnios vencedores.
Universidade Federal do Paran Departamento de Expresso Grfica Prof. Paulo Henrique Siqueira
16
17
Metaheursticas e Aplicaes
A sada calculada da mesma forma que no Perceptron, com a funo limiar ou limiar bipolar.
O erro desta rede calculado como:
e = d y,
e pode ser usado para corrigir os pesos w. Este processo de ajuste de pesos chamado de Regra Delta
ou mtodo do Gradiente descendente.
REGRA DELTA
A ideia bsica minimizar a distncia entre as sadas desejadas e as respostas y* da RNA. Logo,
existir um vetor timo de pesos w*, tal que:
E(w*) E(w), w n+1.
Considerando uma rede Adaline simples de uma sada y, a funo de erro quadrtico de uma
sada k definida como:
Ek =
1
2
( dk y * ) ,
2
1 p
2
( dk y * ) .
2 k =1
E( w ) =
1 p
d
( w i xi )
k
2 k =1
i =1
E( w ) =
1 p
dk w T x
2 k =1
))
Aplicando-se o gradiente em relao ao vetor w para encontrar o erro mnimo para o erro
quadrtico mdio obtemos:
Universidade Federal do Paran Departamento de Expresso Grfica Prof. Paulo Henrique Siqueira
18
Metaheursticas e Aplicaes
E ( w ) =
E ( w )
w
(d ( w
p
k =1
))
x .( x k ) .
E ( w ) = ( dk y * ) .x k .
k =1
A adaptao da RNA deve ser feita na direo contrria do gradiente, pois o objetivo de
minimizar o erro mdio quadrtico, ou seja,
w = .E ( w ) =
(d
k =1
y * ) .x k .
Logo, a atualizao dos pesos de uma RNA Adaline feita atravs da expresso abaixo:
w atual = w anterior +
(d
k =1
y * ) .x k ,
-E(w)
w
w* w2 w1 w0
Universidade Federal do Paran Departamento de Expresso Grfica Prof. Paulo Henrique Siqueira
19
Metaheursticas e Aplicaes
Exerccios:
1. Classificao da funo lgica OU com entradas e sadas bipolares:
Valores iniciais: = 0,5 w1 = 0,3 w2 = 0,5
x1
1
1
-1
-1
x2
1
-1
1
-1
d
1
1
1
-1
x2
1
-1
1
-1
d
1
-1
-1
-1
3. Utilizando uma rede do tipo Adaline, calcule uma matriz de pesos que seja capaz de
reconhecer a classificao dos vetores dados abaixo (parmetros iniciais: = 0,2 e w=0):
x =(1,1,1,1), d = 0,9; x =(-1,-1,-1,-1), d = 0,8; x =(1,1,-1,-1), d = -0,7; x =(1,-1,-1,1),
1
x1
-0,6508
-1,4492
2,0850
0,2626
0,6418
0,2569
1,1155
0,0914
0,0121
-0,0429
0,4340
0,2735
0,4839
0,4089
1,4391
x2
0,1097
0,8896
0,6876
1,1476
1,0234
0,6730
0,6043
0,3399
0,5256
0,4660
0,6870
1,0287
0,4851
-0,1267
0,1614
x3
4,0009
4,4005
12,0710
7,7985
7,0427
8,3265
7,4446
7,0677
4,6316
5,4323
8,2287
7,1934
7,4850
5,5019
8,5843
d
-1,0000
-1,0000
-1,0000
1,0000
1,0000
-1,0000
1,0000
-1,0000
1,0000
1,0000
-1,0000
1,0000
-1,0000
-1,0000
-1,0000
n
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
x1
-0,9115
0,3654
0,2144
0,2013
0,6483
-0,1147
-0,7970
-1,0625
0,5307
-1,2200
0,3957
-0,1013
2,4482
2,0149
0,2012
x2
-0,1973
1,0475
0,7515
1,0014
0,2183
0,2242
0,8795
0,6366
0,1285
0,7777
0,1076
0,5989
0,9455
0,6192
0,2611
x3
2,1962
7,4858
7,1699
6,5489
5,8991
7,2435
3,8762
2,4707
5,6883
1,7252
5,6623
7,1812
11,2095
10,9263
5,4631
d
-1,0000
1,0000
1,0000
1,0000
1,0000
-1,0000
1,0000
1,0000
1,0000
1,0000
-1,0000
-1,0000
1,0000
-1,0000
1,0000
Conjunto de testes:
Universidade Federal do Paran Departamento de Expresso Grfica Prof. Paulo Henrique Siqueira
20
Metaheursticas e Aplicaes
n
1
2
3
4
5
6
7
8
9
10
x1
-0,3665
-0,7842
0,3012
0,7757
0,157
-0,7014
0,3748
-0,03
0,122
-0,147
x2
0,062
1,1267
0,5611
1,0648
0,8028
1,0316
0,1536
0,3145
0,9877
0,461
x3
5,9891
5,5912
5,8234
8,0677
6,3040
3,6005
6,1537
11,068
-0,006
5,353
Uma rede MLP com pelo menos uma camada escondida supera as limitaes de classificao
do perceptron [Minsky e Papert, 1969].
O ajuste dos pesos foi proposto por Rumelhart, Hinton, Williams, Parker, Le Cun e Werbos .
Cada camada recebe dados da camada imediatamente inferior e envia para a camada
seguinte.
No existem conexes entre elementos da mesma camada.
Uma MLP pode ter qualquer nmero de camadas e de neurnios.
Uma MLP com uma camada escondida suficiente para aproximar com preciso arbitrria
qualquer funo com um nmero finito de descontinuidades, desde que a funo de ativao dos
neurnios escondidos seja no-linear
Universidade Federal do Paran Departamento de Expresso Grfica Prof. Paulo Henrique Siqueira
21
Metaheursticas e Aplicaes
Superfcies de separao
z j* =
v x +
ij j
yk* =
jk z j
+ b
( )
zj = f zj *
yk = f (yk * )
jk z j
+ b , onde y k = f ( y k * ) .
1
2
( dk y k ) .
2
Universidade Federal do Paran Departamento de Expresso Grfica Prof. Paulo Henrique Siqueira
22
Metaheursticas e Aplicaes
Para obter o decrscimo mais rpido do erro, devemos ter o erro na direo
Usando a Regra da Cadeia, temos:
Ek
.
w jk
Ek
Ek y k *
=
w jk y k * w jk
Mas
y k *
=
w jk w jk
z w
j
jk
Ek
Ek
+ b = z j
=
zj
w jk y k *
= f' (yk * )
w jk y k
y k * y k y k *
y k *
Como
Ek
= ( dk y k ) podemos concluir que o erro descresce mais rapidamente quando o
y k
(1)
e y k *
1
e
f
'
y
*
=
(
)
k
1 + e y k *
1 + e y k *
(2)
Como
z =
2 j
1
e y k *
( dk y k ) z j
1 + e y k * 1 + e y k *
e y k *
1 + e y k *
1
1
1
=
=1
=
y
e
temos:
k
yk *
yk *
yk *
yk *
1+e
1+e
1+e
1 + e y k *
1+e
Ek
= y k (1 y k )( dk y k ) z j ,
w jk
w jk = y k (1 y k )( dk y k ) z j .
Exerccio:
Qual parmetro foi usado na funo sigmoidal da deduo acima? Calcule a atualizao de wjk
quando a funo de ativao for tangente hiperblica.
v x
ij i
( )
+ a , onde z j = f z j *
Universidade Federal do Paran Departamento de Expresso Grfica Prof. Paulo Henrique Siqueira
23
Metaheursticas e Aplicaes
Ej
v ij
Considere
Ej
y
(d
Ej y
.
y v ij
(3)
y
y y *
.
=
v ij y * v ij
(4)
Mas
y * y * z j
=
=
v ij z j v ij
z j
jk
v ij
(5)
z j z j *
z j * v ij
( )
= f ' zj * xi
( d
( )
y k ) f ' ( y k * ) w jk f ' z j * x i ,
v ij = ( dk y k ) f ' ( y * k ) w jk f ' ( z * j ) x i .
(6)
e y k *
1 + e y k *
e f ' ( zj * ) =
zj*
1+e
zj*
(7)
e y k *
d y
(
)
k
k
1 + e y k *
zj *
e
w
jk
2
zj *
1 + e
xi ,
ou seja,
Ej
v ij
( d
k
y k ) y k ( 1 y k ) w jk z j 1 z j x i .
v ij = ( dk y k ) y k (1 y k ) w jk z j (1 z j ) x i .
k
Exerccio:
Calcule a atualizao de vij quando a funo de ativao for a tangente hiperblica.
Universidade Federal do Paran Departamento de Expresso Grfica Prof. Paulo Henrique Siqueira
Metaheursticas e Aplicaes
ALGORITMO BACKPROPAGATION
Neste algoritmo, o treinamento da RNA feito em duas fases:
Fase forward:
Universidade Federal do Paran Departamento de Expresso Grfica Prof. Paulo Henrique Siqueira
24
Metaheursticas e Aplicaes
Fase backward:
Universidade Federal do Paran Departamento de Expresso Grfica Prof. Paulo Henrique Siqueira
25
Metaheursticas e Aplicaes
Universidade Federal do Paran Departamento de Expresso Grfica Prof. Paulo Henrique Siqueira
26
27
Metaheursticas e Aplicaes
Resumindo:
Algoritmo 1:
1 camada escondida, funes de ativao sigmoidais, m sadas
0. Inicialize os pesos das conexes e do bias com valores aleatrios; inicialize a
taxa de aprendizagem . Para cada padro de entrada, execute os passos de 1 a 3:
1. Calcule as entradas na camada escondida, e a sada da rede:
zj* = ivijxi+aj
yk* = jwjkzj+bk
yk = 1/(1 + e^(-yk*), onde k = 1, 2, ..., m
2. Calcule as correes das conexes da camada de sada:
wjk = yk(1 yk)(dk yk)zj
Algoritmo 2:
1 camada escondida, funes de ativao sigmoidais, 1 sada
0. Inicialize os pesos das conexes e dos bias com valores aleatrios; inicialize a
taxa de aprendizagem . Para cada padro de entrada, execute os passos de 1 a 3:
1. Calcule as entradas na camada escondida, e a sada da rede:
zj* = ivijxi+aj
y* = jwjzj+b
y = 1/(1 + e^(-y*)
2. Calcule as correes das conexes da camada de sada:
wj = y(1 - y)(d - y)zj
wj = wj + wj
b = y(1 - y)(d - y)
b = b + b
Universidade Federal do Paran Departamento de Expresso Grfica Prof. Paulo Henrique Siqueira
28
Metaheursticas e Aplicaes
Algoritmo 3:
1 camada escondida, funes de ativao tanh, m sadas
0. Inicialize os pesos das conexes e dos bias com valores aleatrios; inicialize a
taxa de aprendizagem . Para cada padro de entrada, execute os passos de 1 a 3:
1. Calcule as entradas na camada escondida, e a sada da rede:
zj* = ivijxi+aj
yk* = jwjkzj+bk
yk = tanh(yk*), onde k = 1, 2, ..., m
2. Calcule as correes das conexes da camada de sada:
wjk = (1 yk2)(dk yk)zj
bk = (1 yk2)(dk - yj)
bk = bk + bk
3. Calcule as correes das conexes da camada escondida:
vij = k[(dk yk)(1 yk2)wjk](1 zj2)xi
aj = k[(dk yk)(1
aj = aj + aj
4. Atualize a taxa de aprendizagem, verifique os erros para todos os padres de
entrada, e teste o critrio de parada.
yj2)wjk](1
zj2)
Exerccios:
1. Utilizando a Rede Neural MLP com aprendizagem Backpropagation em 2 camadas,
resolva o problema de classificao dos pontos A e B dados abaixo:
i
A1
A2
A3
B1
B2
x1
0
1
1
1
2
x2
2
2
3
0
1
d
1
1
1
0
0
Pesos iniciais:
w1=0,9; w2=-0,9; =0,9
x1
w1
x2
y*
w2
1
0
0
Universidade Federal do Paran Departamento de Expresso Grfica Prof. Paulo Henrique Siqueira
29
Metaheursticas e Aplicaes
2. Com os dados do problema anterior, utilize a Rede Neural Perceptron com aprendizagem
Backpropagation em 3 camadas para resolver o problema de classificao dos pontos.
a
b
x1
x2
Pesos iniciais:
a
1
2
1 0,900 0,900
b
1
1 -0,900
3
-0,900
v
1
2
w
1
2
3
1
0,900
-0,900
0,900
z * = v x +
aj: zj = 1/(1+e^(-zj*))
j
ij i
y * = w z +
b : y = 1/(1+e^(-y *))
k
x1 x2 d1 d2
-1 -1 0 0
-1 1 0 1
-1 -1 0 0
1 1 1 1
1 1 1 1
w =w +
wjk
jk
jk
b
(dk-yk)yk(1-yk)
k=
vij=[
[y
[ k(1-yk)(dk-yk)wjk]zj(1-zj)xi
x2
yk(1-yk)(dk-yk)zj
wjk=
x1
vij
jk j
v =v +
vij
ij
ij
wjk
a
[y
j=
k(1-yk)(dk-yk)wjk]zj(1-zj)
Pesos iniciais:
a
v
1
2
0,750
0,900 0,850
0,850
0,900 0,750
w
1
2
3
0,650 0,700
0,600 0,750
0,650 0,700
Universidade Federal do Paran Departamento de Expresso Grfica Prof. Paulo Henrique Siqueira
30
Metaheursticas e Aplicaes
4. Utilize uma rede neural MLP com aprendizagem Backpropagation com pelo menos uma
camada escondida para resolver o problema de classificao abaixo. Faa 4 iteraes
completas e interprete graficamente a soluo no final de cada iterao.
A 0, 92 0, 29
1
B 0, 28 0, 32
1
1
C 0, 21 0, 07
D 0, 81
1
1
X=
, onde d =
E 0, 5
1
1
F 0, 62
0, 87
1
1
G 0,71 0, 87
1
H 0, 42
0, 09
Exemplo:
Com os dados abaixo, utilize a Rede Neural Perceptron com aprendizagem Backpropagation
em 2 camadas para resolver o problema de classificao dos pontos.
0 1
0 2
1 1
1 2
1 3
2 2
2 3
3 2
4 1
4 3
2 0
2 1
3 0
3 1
3 3
4 0
4 2
5 0
5 1
5 2
5 3
x1 x2
1
1
1
1
1
1
1
1
0
0
0
0
0
0
0
0
0
0
d
0
0
x1
w1
x2
y*
w2
Na 10 iterao, temos:
w1=2,95 w2=-2,79 =-1,94
erro=1,52
Universidade Federal do Paran Departamento de Expresso Grfica Prof. Paulo Henrique Siqueira
31
Metaheursticas e Aplicaes
Adicionando-se uma camada escondida, e utilizando os pesos abaixo com sadas lineares em
todos os neurnios, temos:
a
b
a
1
b
1
x1
x2
v
0,000
0,100
v
1
2
0,000
0,000
0,100
-0,100
w
1
2
1
0,200
-0,200
0,200
-1,370
1,390
-0,190
v
1
2
2,830
-3,630
-2,860
3,710
w
1
2
1
2,870
-2,740
...
Na 500 iterao, temos:
erro=0,966
Universidade Federal do Paran Departamento de Expresso Grfica Prof. Paulo Henrique Siqueira
32
Metaheursticas e Aplicaes
x1
x2
v
Observaes:
Sobre a parada da rede:
se os pesos forem ajustados em valores muito grandes a ativao se torna zero ou um e
os ajustes passam a ser nulos, parando a rede
Sobre mnimos locais:
a superfcie de erro de uma rede complexa cheia de montanhas e vales
a RNA pode ficar presa em um ponto de mnimo local
Uma MLP pode conduzir a erro mnimo local ao invs de global
este erro mnimo local pode ser satisfatrio, mas e se no for?
o uma rede com mais neurnios poder fazer um trabalho melhor
O nmero de neurnios ou camadas adequados no de determinao simples:
pode-se usar diferentes conjuntos de solues iniciais para melhorar a soluo do
problema
Sobre a escolha do nmero de neurnios das camadas:
Para a camada de entrada, o nmero de variveis fornecidas
Para a camada de sada, um neurnio para cada item de classificao
Para camadas escondidas com i unidades, onde 0 i k:
o comea-se com i = 0 (sem camada oculta) e verifica-se o nmero de padres
classificados corretamente
o prossegue-se com i = 1 (um neurnio na camada escondida) e verifica-se o nmero
de padres classificados corretamente
o ... e assim continua-se at i = k. Destas k tentativas escolhe-se para i, aquela que
classificou o maior nmero de padres corretamente
Sobre a taxa de aprendizagem inicial:
deve ser alta no incio do treinamento e decline gradativamente medida que ele
evolui [Gorni, 1993]
Universidade Federal do Paran Departamento de Expresso Grfica Prof. Paulo Henrique Siqueira
33
Metaheursticas e Aplicaes
Universidade Federal do Paran Departamento de Expresso Grfica Prof. Paulo Henrique Siqueira
34
Metaheursticas e Aplicaes
Universidade Federal do Paran Departamento de Expresso Grfica Prof. Paulo Henrique Siqueira
35
Metaheursticas e Aplicaes
Quando o termo momento acrescentado e a taxa de aprendizagem pequena, leva bastante tempo
para o mnimo ser alcanado (trajetria "a");
Quando o termo momento no considerado e a taxa de aprendizagem alta, o mnimo nunca
alcanado porque ocorrem oscilaes (trajetria "b");
Quando a taxa de aprendizagem alta, mas o termo momento considerado, o mnimo alcanado
rapidamente (trajetria "c") [Krose et al, 1993].
Exerccio:
Resolva o exerccio 2 da pgina 29 aplicando a taxa de momento com coeficiente = 0,6.
APROXIMAO DE FUNES
O objetivo da aprendizagem descobrir a funo f dado um nmero finito (de preferncia
pequeno) de pares entrada-sada (x,d).
As RNAs so teis para aproximao de funes pois so aproximadores universais, eficientes e
podem ser implementadas como mquinas de aprendizagem
f ( x , w ) =
w (x)
i
i =1
onde w so elementos reais do vetor w = [w ,,w ] tais que f ( x ) f ( x , w ) < e pode ser arbitrariai
Quando f(x) externo ao espao de projeo, o erro diminui fazendo f ( x , w ) mais prximo de
f(x). Para diminuir o erro da aproximao, basta aumentar o nmero de bases (funes
elementares).
Universidade Federal do Paran Departamento de Expresso Grfica Prof. Paulo Henrique Siqueira
36
Metaheursticas e Aplicaes
O requisito para o mtodo funcionar que -1(x) deve existir. Se as funes elementares
constiturem uma base, isto , elas forem linearmente independentes teremos:
w 1 1 ( x ) + + w n n ( x ) = 0 se e somente se
( w 1 , , w n ) = 0
soluo torna-se w = f .
As funes elementares podem ser globais (abrangem todo o espao de entrada) ou locais,
(abrangem uma rea limitada do espao de entrada).
Uma rede MLP com uma camada escondida com um neurnio de sada linear pode ser
considerada uma implementao de um sistema para aproximao de funes, onde as bases so os
neurnios escondidos.
A composio de neurnios sigmoidais corresponde a todo o espao de entrada. A MLP
implementa uma aproximao com funes elementares globais.
MLPs realizam aproximao de funes com um conjunto adaptativo de bases, determinado a
partir dos dados entrada-sada. As bases so alteradas em funo dos dados: o espao de projeo
dependente dos dados.
O treinamento mais difcil, pois no somente a projeo como tambm a base est sendo
alterada. Devido alta conectividade e natureza global das funes elementares, um bom ajuste
obtido com poucas bases (poucos neurnios escondidos).
Universidade Federal do Paran Departamento de Expresso Grfica Prof. Paulo Henrique Siqueira
37
Metaheursticas e Aplicaes
Exerccios:
1. Dada a matriz de valores de entrada x e os desejados d, elabore uma arquitetura de MLP,
com pelo menos uma camada escondida, que seja capaz de aproximar a funo dada abaixo:
d
x
-3
-2,5
-2
-1,5
-1
-0,5
0
0,5
1
1,5
2
2,5
3
-10
-6
-3,6
-2,1
-1,2
-0,5
0
0,52
1,18
2
3,6
6,05
10,02
x1
x2
x3
x1
x2
x3
x4
-1
-1
-1
-1
-1
-1
-1
-1
x1
x2
x3
-1
-1
-1
-1
-1
-1
b)
c)
Universidade Federal do Paran Departamento de Expresso Grfica Prof. Paulo Henrique Siqueira
38
Metaheursticas e Aplicaes
5. Dada a rede MLP ao lado, calcule os novos pesos e bias na seguinte sequncia de apresentao
de dados xi de entrada (use =0,4, funo de ativao sigmide, e calcule o erro de classificao
em cada entrada):
5.1. x =(-1,1), com d=0,9;
1
5.2. x2=(1,-1), com d=0,8;
5.3. x3=(1,1), com d= -0,7.
Depois calcule a sada (com os pesos e bias atualizados)
para o vetor de testes x=(-1,-1), com d= -0,8, e calcule o
erro de classificao.
tanh2(x) = tanh(ex + c)
Os pesos foram inicializados com valores aleatrios e cada n escondido computa uma funo
tanh aleatria.
Universidade Federal do Paran Departamento de Expresso Grfica Prof. Paulo Henrique Siqueira
Metaheursticas e Aplicaes
39
Universidade Federal do Paran Departamento de Expresso Grfica Prof. Paulo Henrique Siqueira
Metaheursticas e Aplicaes
40
Perceptron com Backpropagation (usando 1 amostra de cada classe que se deseja classificar).
Classificao correta = 58,52%
Universidade Federal do Paran Departamento de Expresso Grfica Prof. Paulo Henrique Siqueira
41
Metaheursticas e Aplicaes
Perceptron com Backpropagation (usando mais amostras de cada classe que se deseja classificar).
Classificao correta = 95,19%
No trabalho de [Mark Gahegan, Geoff West, 1998] os autores utilizaram 3 tcnicas para
classificaes de imagens.
As imagens a seguir mostram os resultados encontrados:
Universidade Federal do Paran Departamento de Expresso Grfica Prof. Paulo Henrique Siqueira
Metaheursticas e Aplicaes
rvore de deciso. Classificao correta: 75%; MLP + BackPropagation. Classificao correta: 85%
Universidade Federal do Paran Departamento de Expresso Grfica Prof. Paulo Henrique Siqueira
42
43
Metaheursticas e Aplicaes
A largura ideal desta margem pode ser encontrada da maneira descrita abaixo:
wx i + +1 para y i = +1
wx i + 1 para y i = 1
wx +
w
wx +
k
i =1
w 2i
xD
wx +
k
i =1
w 2i
A ideia de uma SVM de maximizar a margem de tal forma que respeite a menor distncia
m, ou seja:
Universidade Federal do Paran Departamento de Expresso Grfica Prof. Paulo Henrique Siqueira
44
Metaheursticas e Aplicaes
wx i +
wx i +
max min
k
x D
w ,
2
i
w
i
i =1
sujeito a y (wx +) 0, x D
i
min
w
k
i =1
w 2i
k
i =1
i ( y i ( wx i + ) 1)
L ( w ,,) = 0 ,
L ( w ,,) = 0
i y i = 0
w=
i =1
y x
i i i
i =1
sujeito a
k
i =1
i y i = 0 e i 0 , i = 1 ,..., k ,
k
i =1
y i i x i x + = sgn ( wx + ) .
x c 2
k
j
radial basis function (RBF) de x : j ( x k ) = exp
2
sigmoidal de x
45
Metaheursticas e Aplicaes
sujeito a
k
i =1
i y i = 0 e i 0 , i = 1 ,..., k ,
k
i =1
y ii ( xi ) ( x ) + .
i =1
i =1
Condio de Mercer
Para decompor uma funo Kernel atravs de um produto interno K(x,y)= (x)(y), K(x,y) deve
ser semi-definida positiva, ou seja, para qualquer funo f(x) que f 2 ( x ) dx seja finito:
f ( x ) K ( x , y ) f ( y ) dxdy 0
K(a,b)=(ab +1)d um exemplo de funo Kernel SVM
Outras funes no lineares Kernel SVM:
( a b )2
.
Kernel em formato RBF: K ( a , b) = exp
22
y =1, y =1, y =-1, y =-1 e y =1. Usando a funo Kernel K(a,b)=(1+aTb), temos:
1
5
i =1
12
i =1 i
y y 1 + xi x j
i ,j=1 i j i j
i y i = 0 e i 0 , i = 1 ,...,5 ,
5
i =1
= 0 , 6667x2 5 ,333x + .
Universidade Federal do Paran Departamento de Expresso Grfica Prof. Paulo Henrique Siqueira
46
Metaheursticas e Aplicaes
Exemplo:
Considere o exemplo de classificao da funo lgica ou exclusiva.
( w ) = 12 w T w
L ( w , , ) = 12 w T w
W () =
i =1
i 12
(d ( w
n
) )
xi + 1
i =1
n
d d x x
i
T
j i j i j
i =1 j=1
...
x1
x2
-1
-1
-1
-1
-1
-1
Outros exemplos:
Universidade Federal do Paran Departamento de Expresso Grfica Prof. Paulo Henrique Siqueira
Metaheursticas e Aplicaes
47
Universidade Federal do Paran Departamento de Expresso Grfica Prof. Paulo Henrique Siqueira
48
Metaheursticas e Aplicaes
(||x - xn||)
uma para cada ponto da srie, onde (.) uma funo no-linear.
A sada uma funo h:
h(x) = nwn(||x - xn||) [Powel, 1988]
As redes RBFs so aproximadores universais, isto , dado um nmero suficiente de neurnios
na camada escondida, as redes RBFs podem aproximar qualquer funo contnua com preciso
arbitrria.
Universidade Federal do Paran Departamento de Expresso Grfica Prof. Paulo Henrique Siqueira
49
Metaheursticas e Aplicaes
Exemplos:
2
1
x ( t ) u j ( t )
22j ( i ) j
j ( t ) = e
onde j representa o raio da funo base do neurnio j e uj(t) o vetor com as coordenadas do centro
do neurnio.
Os valores dos raios extendem a funo de base radial, e a sada da rede uma combinao
das funes de bases radiais com os pesos ajustados na iterao t:
Universidade Federal do Paran Departamento de Expresso Grfica Prof. Paulo Henrique Siqueira
50
Metaheursticas e Aplicaes
yk (t ) =
w (t )
jk
j=1
Exemplos:
( )
w = G TG
GT d
Exerccios:
1. Utilizando a Rede Neural RBF com centros u = {(0 2), (1 0)}, encontre os pesos desta rede
para o problema de classificao dos pontos Ai e Bj dados abaixo:
3
A1
A2
A3
B1
B2
x1
0
1
1
1
2
x2
2
2
3
0
1
d
1
1
1
0
0
0
0
Universidade Federal do Paran Departamento de Expresso Grfica Prof. Paulo Henrique Siqueira
51
Metaheursticas e Aplicaes
2. Utilizando a Rede Neural RBF com 3 centros u = {(0 2), (1 0), (2 1)}, encontre os pesos desta
rede para o problema de classificao dos pontos Ai e Bj do problema anterior.
3. Utilizando a Rede Neural RBF com 3 centros u = {-5, 3, 7}, encontre os pesos desta rede para
aproximar a funo x3 + 2x2 + 4x 12 atravs de 21 pontos no intervalo [-3, 3].
4. Utilize uma rede RBF para a funo OU EXCLUSIVO com os seguintes parmetros: = 0 ,5 ,
u = {(1 1), (-1 -1)}, k = 2 (centros), = 1, sada com 1 neurnio.
x
1,0
1,0
d
1,0
-1,0
1,0
-1,0
-1,0
1,0
-1,0
-1,0
1,0
-1,0
5. Utilizando a Rede Neural RBF com 4 centros, encontre os pesos da rede para aproximar a
funo sen(x)+ 4cos(x) 1 atravs de 21 pontos no intervalo [-2, 4].
6. Utilize uma RBF para resolver o problema de classificao dado abaixo com os 21 pontos e
seus respectivos valores desejados. Utilize = 5, u = {(1 3), (4 0), (5 3)}, k = 3 (centros), =
1, sada com 1 neurnio.
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
x1 x2
0 1
0 2
1 1
1 2
1 3
2 2
2 3
3 2
4 1
4 3
2 0
2 1
3 0
3 1
3 3
4 0
4 2
5 0
5 1
5 2
5 3
d
1
1
1
1
1
1
1
1
1
1
0
0
0
0
0
0
0
0
0
0
0
7. Utilize uma RBF com centros u = {(0 0), (1 1), (3 3)} para
classificar os dados abaixo. Use = 5 e = 1.
A1
A2
B1
B2
B3
x1
0
1
0
2
1
x2
1
2
3
3
3
d
0
0
1
1
1
Universidade Federal do Paran Departamento de Expresso Grfica Prof. Paulo Henrique Siqueira
52
Metaheursticas e Aplicaes
Algoritmo:
0. Inicialize os pesos
1. Para cada par
2.
wi(novo) =
(w
wi = 0, onde i = 1, 2, ..., n)
de treinamento (x
x,d
d), faa:
wi(atual) + xidi (i
i = 1, 2, ..., n)
i(novo) = i(atual) + di
3. Faa y* = wixi + .
x1
x2
x3
xn
w1
w2
w3
wn
Exerccios:
1. Use a rede de Hebb para a funo lgica E com entradas bipolares.
2. Use a rede de Hebb para a funo lgica OU com entradas bipolares
Universidade Federal do Paran Departamento de Expresso Grfica Prof. Paulo Henrique Siqueira
53
Metaheursticas e Aplicaes
x1
0
1
1
1
2
x2
2
2
3
0
1
x j x min
x j = 2
xmax xmin
A1
A2
1 A3
B1
B2
x1
-1,00
-0,33
-0,33
-0,33
0,33
x2
0,33
0,33
1,00
-1,00
-0,33
x1
0
0
1
1
1
2
2
3
4
4
2
2
3
3
3
4
4
5
5
5
5
x2
1
2
1
2
3
2
3
2
1
3
0
1
0
1
3
0
2
0
1
2
3
d
1
x j xmin
1 x j = 2
1
x
x
max
min
1
1
1
1
1
1
1
1
-1
-1
-1
-1
-1
-1
-1
-1
-1
-1
-1
x1
x2
0 -1
1 -1
1 -1 1 -1
1 -1
-1 1
1 -1 -1
1 -1
Universidade Federal do Paran Departamento de Expresso Grfica Prof. Paulo Henrique Siqueira
54
Metaheursticas e Aplicaes
x1
y1
x2
y2
Algoritmo:
xn
ym
wij
0. Inicialize os pesos (w
wi = 0, onde i = 1, 2, ..., n)
x,d), faa os passos 2-4:
1. Para cada par de treinamento (x
2. yj* = ixiwij
3. Se yj* > 0, yj = 1
Se yj* = 0, yj = 0
Se yj* < 0, yj = -1
4. wij(novo) = wij(atual) + xidj (i
i = 1, 2, ..., n)
5. Reduza e teste a convergncia. Se necessrio, repita os passos de 1-4.
##.
#.#
##.
#.#
##.
##.
#.#
##.
#.#
##.
O###.##
#.@@...
##.....
@#.....
#@...@.
#......
.#.@...
#.....#
##oo###
@..#...
...#@..
..#.#.@
..#.#@.
.####@.
.#...#.
.#...#o
#...@.#
#o....#
###
#..
#..
#..
###
###
#..
#..
#..
###
..@#.@.
.@.#@..
@.###.@
..O.#@.
.@##o..
@#.@.#@
.#@..o#
#@..@.#
o..@..o
.#.
#.#
###
#.#
#.#
.#.
#.#
###
#.#
#.#
Exerccios:
1. Dados dos vetores x e y treine a rede para associar a cada vetor x o respectivo vetor y:
x
(1,0,0,0)
(1,1,0,0)
(0,0,0,1)
(0,0,1,1)
d
(1,0)
(1,0)
(0,1)
(0,1)
x1
x2
y1
x3
y2
x4
wij
Universidade Federal do Paran Departamento de Expresso Grfica Prof. Paulo Henrique Siqueira
55
Metaheursticas e Aplicaes
x1
y1
x2
y2
xn
wij
Exerccios:
1. Utilizando uma rede autoassociativa, calcule a matriz W de pesos que seja capaz de
reconhecer os vetores dados abaixo:
(1 1 -1 -1)
(1 -1 1 1)
Usando a matriz de pesos W, verifique se os vetores acima so mesmo reconhecidos
corretamente pela rede.
O vetor (-1 1 1 -1) reconhecido corretamente pela rede?
2. Use uma rede autoassociativa para reconhecer o vetor V1=(1,1,1,1,1,1). Teste a rede com o
vetor V1. Teste a rede com o vetor T=(1,1,1,1,-1,-1). Encontre a rede que reconhece
V2=(1,1,1,-1,-1,-1). Teste a rede com V1, V2 e V3=(1,1,1,-1,0,0)
ICA/PCA
LVQ
SOM
Estatstica
Universidade Federal do Paran Departamento de Expresso Grfica Prof. Paulo Henrique Siqueira
yn
56
Metaheursticas e Aplicaes
Critrios de competio:
O neurnio mais prximo entrada atual deve vencer a
competio, portanto precisa-se de uma medida de proximidade.
O produto interno sensvel no somente s direes mas
tambm ao comprimento dos vetores, isto , a entrada e os pesos
devem ser normalizados.
Uma alternativa ao produto interno o uso da distncia
Euclidiana como mtrica para definir o vencedor:
x.PE1=0,5+1=1,5
x.PE2=2,5+0=2,5
).
Como a raiz quadrada uma funo computacionalmente cara, a distncia mtrica menos
eficiente que o produto interno:
xw =
(x
wk ) .
2
( x A xB ) + ( y A yB )
2
y
B(xB, yB)
.
A(xA, yA)
x
Universidade Federal do Paran Departamento de Expresso Grfica Prof. Paulo Henrique Siqueira
57
Metaheursticas e Aplicaes
Agrupamento
Usando a regra competitiva uma rede linear de camada nica agrupa e representa dados que
residem em uma vizinhana do espao de entrada. Cada vizinhana representada por um nico
neurnio.
Os pesos de cada neurnio representam pontos no espao de entrada chamados vetores
prottipos. Se os vetores forem unidos por uma linha e forem traadas perpendiculares na metade
de cada uma, as mesmas se encontraro e formaro uma estrutura semelhante a uma colmia de
abelhas.
A Tesselao de Voronoi um exemplo de formao de
agrupamentos. As amostras de dados que esto nas regies so
assinaladas aos correspondentes vetores-prottipos.
O algoritmo no-neural tpico de agrupamento o kmdio, o qual encontra a melhor diviso de N amostras em K
grupos, tal que a distncia total entre as amostras agrupadas e seus respectivos centros, isto , a
varincia total, seja minimizada.
Redes competitivas implementam uma espcie de verso do agrupamento k-mdio
Agrupamento:
o processo de agrupar amostras de entradas que so vizinhas espaciais;
um processo no-supervisionado.
Classificao:
consiste na rotulao de amostras de entrada atravs de algum critrio externo;
um processo supervisionado.
Como agrupamento no-supervisionado, ele no
pode ser usado diretamente para classificao. Em vrias
aplicaes prticas, os dados de cada classe tendem a ser
densos e, portanto, h um vale natural entre as classes.
Nestes casos o agrupamento pode ser um pr-processador
para a classificao. Com isto obtm-se redes de
classificao mais simples.
Se o vetor de pesos de um neurnio est muito
distante dos grupos de dados ele nunca vencer a
competio (neurnio morto).
Classe 2
cluster 2
cluster 4
cluster 1
Classe 1
cluster 3
Universidade Federal do Paran Departamento de Expresso Grfica Prof. Paulo Henrique Siqueira
58
Metaheursticas e Aplicaes
R=1
R=0
Vizinhanas
Universidade Federal do Paran Departamento de Expresso Grfica Prof. Paulo Henrique Siqueira
Metaheursticas e Aplicaes
Exemplo:
Universidade Federal do Paran Departamento de Expresso Grfica Prof. Paulo Henrique Siqueira
59
60
Metaheursticas e Aplicaes
B
2
0
0
0
0
C
3
0
0
0
0
D
4
0
0
0
0
E
5
0
0
0
0
F
3
1
0
0
0
G
3
2
0
0
0
H
3
3
0
0
0
I
3
4
0
0
0
J
3
5
0
0
0
K
3
3
1
0
0
L
3
3
2
0
0
M
3
3
3
0
0
N
3
3
4
0
0
O
3
3
5
0
0
P
3
3
6
0
0
Q
3
3
7
0
0
R
3
3
8
0
0
S
3
3
3
1
0
T
3
3
3
2
0
U
3
3
3
3
0
V
3
3
3
4
0
W
3
3
6
1
0
X
3
3
6
2
0
Y
3
3
6
3
0
Z
3
3
6
4
0
1
3
3
6
2
1
2
3
3
6
2
2
3
3
3
6
2
3
4
3
3
6
2
4
5
3
3
6
2
5
Universidade Federal do Paran Departamento de Expresso Grfica Prof. Paulo Henrique Siqueira
6
3
3
6
2
6
61
Metaheursticas e Aplicaes
Algoritmo
0. Iniciar os pesos dos n neurnios da rede com valores aleatrios baixos: w
ij
di =
( x ( t ) w ( t ))
ij
j=1
que pertencem
Exerccios:
1. Utilizando o conjunto de treinamento X e a matriz inicial de pesos W dados abaixo, treine a
SOM com 3 iteraes completas, e depois apresente o conjunto de testes. Interprete
geometricamente os resultados de cada iterao.
Conjunto de treinamento X:
A(-1,5 2,5) B(-2 -2) C(2 2) D(1,5 2,5) E(-2 3) F(-2,5 3) G(-3 -2)
Conjunto de teste:
H(0 0) I(10 0) J(2 -7) K(2 3) L(-2 -2)
taxa de aprendizagem inicial: = 0,5
0,1 0,1
0,1 0,1
F
3
1
0
0
0
K
3
3
1
0
0
R
3
3
8
0
0
S
3
3
3
1
0
1
3
3
6
2
1
2
3
3
6
2
2
Conjunto de teste:
V
3
3
3
4
0
6 C L
3 3 3
3 0 3
6 0 2
2 0 0
6 0 0
Universidade Federal do Paran Departamento de Expresso Grfica Prof. Paulo Henrique Siqueira
62
Metaheursticas e Aplicaes
0,1
0,5
0,3
matriz inicial de pesos: W T =
0,2
0,1
0,5
opes de arquitetura da rede:
0,5
0,1
0,4
0,1
0,2
0,2
0,4
0,1
0,5
0,4
0,3
0,3
0,5
0,3
0,3
0,4
0,2
0,2
0,4
0,5
0,3
0,6
2
0,1
0,4
0,8
0,5
0,9
0,3
0,7
u1
0,2
u2
0,8
T
W = 0,6
0,4
0,2
0,2
0,4
0,6
0,8
1
4.1. Use a distncia Euclidiana como mtrica para encontrar o neurnio vencedor para o
padro (0,5 1 0,5 0 0).;
4.2. Use a taxa de aprendizagem 0,2 com raio de vizinhana 0 para encontrar os novos pesos
para os neurnios da rede.
A Rede de Kohonen tem inibio lateral produz uma distribuio gaussiana centrada no
neurnio vencedor. Como aplica-se a regra de aprendizagem do tipo instar, que escala a regra
competitiva pela atividade de sada de cada neurnio, a regra competitiva SOM de Kohonen tornase
wi ( t + 1 ) = wi ( t ) + ii* ( t ) (t) x ( t ) wi ( t )
onde a funo ii* uma funo de vizinhana centrada no neurnio vencedor
O tamanho do passo e a vizinhana diminuem com o tempo. A funo de vizinhana em
geral uma gaussiana:
d 2
ii* (t) = exp 2ii* ,
2R (t)
Universidade Federal do Paran Departamento de Expresso Grfica Prof. Paulo Henrique Siqueira
63
Metaheursticas e Aplicaes
com uma varincia (raio) que decresce com a iterao. Inicialmente ela cobre todo o mapa, mas
reduz-se progressivamente a uma vizinhana de zero, isto , somente o neurnio vencedor
atualizado.
Outro tipo de vizinhana que pode ser usada chamada de vizinhana discreta:
1, se i V(i*)
ii* (t) =
0, caso contrrio
Conforme a vizinhana reduzida, a rede move-se de uma competio muito soft (quase
todo neurnio atualizado) para uma competio hard (somente o vencedor atualizado).
H evidncias que a SOM cria um espao de sada discreto onde relaes topolgicas dentro
das vizinhanas do espao de entrada so preservadas. A rede SOM criada de uma maneira nosupervisionada.
A seleo de parmetros crucial para a preservao de topologia.
Existem duas fases na aprendizagem SOM:
Fase de ordenao topolgica dos pesos, ou seja, definio das vizinhanas;
Fase de convergncia com o ajuste fino da distribuio de entrada.
Com t iteraes, a funo de vizinhana decresce, em geral, com um raio definido por:
t
R ( t ) = R0 ( t ) 1 .
R0
Normalmente a taxa de aprendizagem alta (acima de 0,1) para permitir rede se autoorganizar. Ela ajustada da seguinte forma:
( T)
( t ) = 0 exp t
Erro de Quantizao: EQ = 1 xk w*
n k =1
Universidade Federal do Paran Departamento de Expresso Grfica Prof. Paulo Henrique Siqueira
64
Metaheursticas e Aplicaes
n k =1
1, se i** Vi*
0, caso contrrio
n k =1
Visualizao de agrupamentos
Existem duas formas de visualizao de resultados de agrupamentos das RNA do tipo SOM:
Mapa de densidade
grupo 1
U-Matriz (RGB)
grupo 1
grupo 5
grupo 5
grupo 2
grupo 2
grupo 6
grupo 6
grupo 7
grupo 7
grupo 3
grupo 3
grupo 8
grupo 8
grupo 4
grupo 4
grupo 9
grupo 9
Exerccios:
1. Considere o conjunto de cidades A, B, C, D, E e F, e o conjunto de pesos iniciais dos neurnios
1, 2, 3, 4, 5 e 6. Use 2 iteraes de uma rede tipo SOM para aproximar uma soluo do PCV
(problema do Caixeiro Viajante) usando as coordenadas abaixo:
x1
x2
w1
w2
1
2
3
4
5
6
1
0,5
0
0
0,5
1
A
B
C
D
E
F
1
1
1
0
0
0
0,1
0,2
0,7
0,8
0,9
0,4
0,1
0,8
0,7
0
0,8
0,9
3
F
0,8
E
C
0,6
0,4
0,2
A
4
0
0
5
0,2
0,4
D
0,6
0,8
6
1
Universidade Federal do Paran Departamento de Expresso Grfica Prof. Paulo Henrique Siqueira
65
Metaheursticas e Aplicaes
2.1. Utilizando a distncia Euclidiana como mtrica, encontre o neurnio vencedor para o
padro de entrada (0,7 0,4 0,1);
1 2 3 4
2.2. Utilize a taxa de aprendizagem 0,2, raio de vizinhana 1, e a funo
gaussiana de vizinhana para encontrar os novos pesos para os
5 6 7 8
neurnios da rede;
2.3. Faa o mesmo para o padro de entrada (0,1 -0,4 0,9).
bier127
pcb442
Universidade Federal do Paran Departamento de Expresso Grfica Prof. Paulo Henrique Siqueira
66
Metaheursticas e Aplicaes
Aplicao de uma SOM para calcular custos para designao: problema do Ensalamento
Os clculos dos custos para executar a designao podem ser feitos atravs da classificao
das salas e das disciplinas com Redes de Kohonen.
salas
disciplinas
Alunos cart
90
Q
70
D
40
D
50
Q
60
Q
70
Q
90
D
60
D
70
D
40
D
70
Q
50
Q
60
Q
PC
(0)
CT
(0,2)
PD
(0,5)
PF
(0,75)
PH
(1)
Universidade Federal do Paran Departamento de Expresso Grfica Prof. Paulo Henrique Siqueira
erro
0,0086129745
0,0031832433
0,0030573665
0,002961881
0,0029451081
0,0029362412
0,0023920017
0,002052875
0,0019005249
0,0018594109
0,0017608452
0,0017114819
67
Metaheursticas e Aplicaes
196 neurnios
60
Q PD/PE
R(0.5)G(0.1)B(0.6)
100
Q PG/PH
R(0.85)G(0.1)B(1.0)
40
Q PC/PA
R(0.30)G(0.1)B(0.1)
80
Q PC/PA
R(0.7)G(0.1)B(0.1)
40
Q CT/PD
R(0.30)G(0.1)B(0.45)
70
D PC/PA
R(0.60)G(1.0)B(0.15)
50
Q PE/PF
R(0.40)G(0.2)B(0.70)
60
D CT/PD
R(0.50)G(1.0)B(0.45)
50
Q PF/PG
R(0.40)G(0.1)B(0.80)
70
D PF/PG
R(0.60)G(1.0)B(0.85)
50
D PG/PH
R(0.40)G(1.0)B(0.95)
50
D CT/PD
R(0.40)G(1.0)B(0.25)
70 Q PG/PH
R(0.55)G(0.1)B(0.95)
50
D PF/PG
R(0.40)G(1.0)B(0.85)
100 neurnios
400 neurnios
144 neurnios
225 neurnios
Universidade Federal do Paran Departamento de Expresso Grfica Prof. Paulo Henrique Siqueira
68
Metaheursticas e Aplicaes
Mapa de densidade
grupo 1
U-Matriz (RGB)
grupo 1
grupo 5
grupo 2
grupo 2
grupo 5
Salas: grandes
cart:
cart: qualquer
bloco: PA/PC
grupo 6
grupo 6
grupo 7
grupo 7
grupo 3
grupo 3
grupo 8
grupo 8
grupo 4
grupo 4
grupo 9
grupo 9
Erro de quantiza
quantizao
Erro Topolgico
0,3
18%
0,275
15%
0,25
0,225
13%
0,2
Mdia
10%
0,15
Treinam.
0,125
Turmas
8%
Erro topolgico
Erro de quantizao
0,175
0,1
0,075
0,05
0,025
0
3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26
Dimenso do mapa
Treinam.
Turmas
Salas
Salas
5%
3%
0%
3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26
Dimenso do mapa
Erro de quantizao
0,175
0,15
Treinam.
0,125
Turmas
0,1
Salas
0,075
0,05
0,025
0
3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26
Dimenso do mapa
Universidade Federal do Paran Departamento de Expresso Grfica Prof. Paulo Henrique Siqueira
69
Metaheursticas e Aplicaes
Exerccios:
1. Utilize os vetores iniciais w para classificar os vetores x em 2 classes:
w1 = (1, 1, 0, 0) classe1
w2 = (0, 0, 1, 1) classe 2
w3 = (0, 0, 1, 0) classe 2
x1 = (0, 0, 1, 1) classe 2
x2 = (1, 0, 0, 0) classe 1
x3 = (0, 1, 1, 0) classe 2
x4 = (1, 1, 1, 0) classe 1
Use a taxa de aprendizagem inicial (0) = 0,1
C3
C4
C1
C2
C1
C2
C3
C4
C3
C4
C1
C2
C1
C2
C3
C4
x1
set/08
out/08
jul/08
ago/08
jun/08
abr/08
mai/08
mar/08
jan/08
fev/08
dez/07
nov/07
set/07
out/07
jul/07
ago/07
jun/07
abr/07
mai/07
mar/07
jan/07
fev/07
dez/06
nov/06
set/06
out/06
jul/06
ago/06
jun/06
Universidade Federal do Paran Departamento de Expresso Grfica Prof. Paulo Henrique Siqueira
70
Metaheursticas e Aplicaes
Universidade Federal do Paran Departamento de Expresso Grfica Prof. Paulo Henrique Siqueira
71
Metaheursticas e Aplicaes
x(t)
x(tp)
Conversor
de sinais
x(t1)
Amostra do perodo t
x(n)=x
x(n)
x(n-1)
x(n)
z-1
x(n-1)
Um elemento de atraso ideal, denotado por z-1, atrasa o sinal em uma amostra. Uma linha de
atraso um sistema de uma entrada e vrias sadas, composto pela ligao em cascata de vrios
operadores de atraso.
x(n)
p-1
x(n)
z-1
z-1
x(n-p-1)
x(n)=x
x(n-1)
x0
x1
x(n-1)
z-1
x(n-p+1)
Representao do sinal temporal
x(n)
x(p-1)
Padro esttico
O espao cujos eixos so os sinais dos terminais da linha de atraso chamado espao de
sinais ou de reconstruo.
A cada instante de tempo, o vetor do sinal muda sua posio, criando uma trajetria do sinal.
Universidade Federal do Paran Departamento de Expresso Grfica Prof. Paulo Henrique Siqueira
72
Metaheursticas e Aplicaes
z
entrada
x(n)
x(n-p-1)
x(n)
x(n-1)
x(n-1) x(n-2)
z-1
z-1
z-1
x(n-3)
Janela de tempo
A construo de uma janela de tempo
essencial para a soluo de um problema de
Sries Temporais com RNA:
x(t1)
x(tp)
t
entrada
x(n-3)
x(n-2)
xk
xk-1
yk
xk-2
Universidade Federal do Paran Departamento de Expresso Grfica Prof. Paulo Henrique Siqueira
73
Metaheursticas e Aplicaes
Camada
escondida
Camada de
entrada
x1(t) x2(t) ... xn(t) x1(t-1) x2(t-1)...xn(t-1) x1(t-p) x2(t-p)... xn(t-p)
Janela de tempo
Camada escondida 1
xn(t)
x2(t)
Camada de entrada
x1(t)
t-p-1 t-p ... t-1 t
Janela de tempo
O tempo ajuda a remover a ambiguidade dos dados. necessria memria de curto prazo. Se
o problema a ser resolvido possui dinmica, deve-se usar uma topologia com memria
Universidade Federal do Paran Departamento de Expresso Grfica Prof. Paulo Henrique Siqueira
74
Metaheursticas e Aplicaes
Outro fator que auxilia uma RNA para Sries Temporais a padronizao dos dados de
entrada:
Procedimento 1: Indicado quando os neurnios utilizam a funo de ativao sigmoidal (logstica)
x j =
xj
xmax
x j [0, 1]
x j = 2 j min 1 x j [1, + 1]
xmax xmin
__ conjunto de treinamento
__ conjunto de testes
Entradas da rede:
p valores passados (por exemplo, 4 valores)
Sada desejada:
valor da srie k passos frente (por exemplo, 1 passo)
Universidade Federal do Paran Departamento de Expresso Grfica Prof. Paulo Henrique Siqueira
75
Metaheursticas e Aplicaes
x(t)
__ conjunto de treinamento
__ conjunto de testes
valor desejado
janela
Sada da rede
1 passo frente
x(t)
janela
valor desejado
x(t)
janela
valor desejado
Universidade Federal do Paran Departamento de Expresso Grfica Prof. Paulo Henrique Siqueira
76
Metaheursticas e Aplicaes
x(t)
valor desejado
janela
x(t)
janela
valor previsto
t
A rede utilizada com os pesos
ajustados da ltima
configurao encontrada na
fase de treinamento
Entrada da rede:
Inclui os valores previstos
x(t)
janela
valor previsto
Universidade Federal do Paran Departamento de Expresso Grfica Prof. Paulo Henrique Siqueira
77
Metaheursticas e Aplicaes
Exerccios:
1. Utilize uma rede MLP com uma camada de entrada de 2 neurnios (k=2) e sada com um
neurnio para a seguinte srie temporal:
x
0,1
0,2
0,3
0,4
0,5
0,6
0,7
0,8
x1
x2
y
1
0,9
0,6
0,5
0,3
0,2
0,1
0
w1= -1,0
w2= -1,0
=1,0
y* = w
jxj+ j
y = 1/(1+e^(-y*))
wj=
(d-y)xjy(1-y)
wj=wj+ wj
=
(d-y)y(1-y)
y1
x1
w1
x2
y*
w2
1
0,9
0,8
0,7
0,6
0,5
0,4
t
x
0,1
0,2
0,3
0,4
0,5
0,6
0,7
0,8
x
y
1
0,9
0,6
0,5
0,3
0,2
0,1
0
0,3
0,2
0,1
0
0,1
0,2
0,3
0,4
0,5
0,6
0,7
0,8
0,9
x1
x2
y1
Universidade Federal do Paran Departamento de Expresso Grfica Prof. Paulo Henrique Siqueira
78
Metaheursticas e Aplicaes
3. Utilize uma rede MLP com uma camada de entrada de 2 neurnios (k=2), uma camada
escondida com 3 neurnios (sigmoidais) e sada com um neurnio (sigmoidal) para a srie
temporal do exerccio 1. Use entradas x com os seguintes parmetros:
a
1
b
1
-0,150 0,260
v
1
2
1,600
0,450
w
1
2
3
1
1,800
-2,950
-3,700
a
b
x1
zj* = vijxi+
aj
zj = 1/(1+e^(-zj*))
y* = wjzj+
b
y = 1/(1+e^(-y*))
wj= (d-y)zjy(1-y)
wj=wj+
wj
b=
(d-y)y(1-y)
vij=
y(1-y)(d-y)wjzj(1-zj)xi
vij=vij+
vij
aj= y(1-y)(d-y)wjzj(1-zj)
x2
v
1
2
-1,050
w
1
2
3
1
7,200
5,400
6,700
5. Utilize uma rede MLP com uma camada de entrada de 2 neurnios (k=2), uma camada
escondida com 3 neurnios (tanh) e sada com um neurnio (sigmoidal) para a srie
temporal do exerccio 1. Use entradas x com os seguintes parmetros:
a
1
b
0,300
0,500
1,250
0,900
v
1
2
w
1
2
3
1
1,950
1,700
-2,890
a
b
x1
x2
1
b
0,950
1,150
0,870
0,980
zj* = vijxi+
aj
zj = tanh(zj*)
y* = wjzj+
b
y = 1/(1+e^(-y*))
wj= (d-y)zjy(1-y)
wj=wj+
wj
b=
(d-y)y(1-y)
vij=
y(1-y)(d-y)wj(1-zj^2)xi
vij=vij+
vij
aj= y(1-y)(d-y)wjzj(1-zj^2)
v
1
2
w
1
2
3
1
2,100
1,900
-2,540
Universidade Federal do Paran Departamento de Expresso Grfica Prof. Paulo Henrique Siqueira
Metaheursticas e Aplicaes
79
7. Utilize uma rede RBF para a srie temporal dada a seguir, com entradas x e os seguintes
parmetros: = 1; = 1; u = {(0,2 0,3), (0,5 0,6)}; k = 2; = 1; sada com 1 neurnio.
x1
x2
x
0,1
0,2
0,3
0,4
0,5
0,6
0,7
0,8
0,9
1
y
1
0,9
0,75
0,6
0,55
0,6
0,4
0,3
0,2
0,05
y1
x
0,1
0,2
0,3
0,4
0,5
0,6
0,7
0,8
0,9
1
y
1
0,9
0,75
0,6
0,55
0,6
0,4
0,3
0,2
0,05
y1
y2
80
Metaheursticas e Aplicaes
So redes que tm maior estabilidade, tambm chamadas de TLFN (time layer focused neural
network). Elas tornam o mecanismo de memria de curto prazo estvel.
A recorrncia torna mais trabalhosos os clculos.
As redes recorrentes mais conhecidas so simples, baseadas em neurnios de contexto,
fceis de treinar (com parmetros de realimentao fixos), com correes de erros usando o
algoritmo backpropagation.
Elas realizam o mapeamento com topologias pequenas e no h recorrncia no caminho
entrada-sada.
A rede neural de Elman (1990) tem cada um dos neurnios da camada oculta com
realimentao para as unidades de contexto. conhecida como Perceptron de mltiplas camadas
recorrentes.
y1
y2
y3
...
ym
w
z2(t) ...
z1(t)
z-1
zp(t)
x2
x3
...
xn
z-1
wb 1
wa
x1
z-1
z1(t-1) z2(t-1)
...
zp(t-1)
O clculo da sada de uma rede neural de Elman feito de maneira similar MLP, com as
seguintes atribuies:
Camada de sada (3):
y (3) (t ) = wz ( 2) (t ) + (3)
y1
y2
y3
...
ym
w
Camada escondida (2):
z1(t)
z-1
z *( 2 ) (t ) = wa x (1) (t ) + wb z (1) (t 1) + ( 2 )
z-1
wb 1
wa
x1
z-1
x2
x3
...
xn
z1(t-1) z2(t-1)
...
zp(t-1)
Universidade Federal do Paran Departamento de Expresso Grfica Prof. Paulo Henrique Siqueira
81
Metaheursticas e Aplicaes
A rede neural de Jordan (1986) considera somente realimentao dos valores de ativao
de sada para as unidades de contexto.
y1
y2
...
y3
ym
w
z1(t)
wb
x2
z-1
z-1
zp(t)
wa
x1
z-1
z-1
z2(t) ...
...
x3
xn
y1(t-1) y2(t-1)
O clculo da sada de uma rede neural de Jordan feito de maneira similar rede de Elman,
com as seguintes atribuies:
y ( 3) (t ) = wz ( 2 ) (t ) + ( 3)
y1
y2
y3
...
ym
w
Camada escondida (2):
z*
(2)
(t ) = wa x (t ) +
(1)
+ wb y (1) (t 1) + ( 2 )
wb
wa
x1
x2
x3
...
z-1
z-1
z1(t)
xn
z-1
z-1
y1(t-1) y2(t-1)
y1
y2
y3
...
ym
w
z-1
z-1
1
wb
z-1
z1(t)
z-1
z-1
wd
z-1
z-1
wa
z1(t-1) z2(t-1) ... zp(t-1)
x1
x2
x3
...
xn
y1(t-1) y2(t-1)
Universidade Federal do Paran Departamento de Expresso Grfica Prof. Paulo Henrique Siqueira
82
Metaheursticas e Aplicaes
O clculo da sada de uma rede neural de Williams-Zipses feito de maneira similar s redes
de Elman e de Jordan, com as seguintes atribuies:
y (3) (t ) = wz ( 2 ) (t ) + ( 3)
z *( 2) (t ) = wa x (1) (t ) +
y1
y2
y3
...
ym
+ wb z (t 1) + wd y (t 1) +
(1)
(1)
+ ( 2)
z-1
z-1
wb
z-1
z1(t)
z-1
z-1
wd
z-1
z-1
wa
z1(t-1) z2(t-1) ... zp(t-1)
x1
x2
x3
...
xn
y1(t-1) y2(t-1)
Exerccios:
1. Utilize as redes recorrentes de Elman e Jordan para resolver os problemas de classificao
OU exclusivo e E. Use arquitetura de entrada com 2 neurnios x, 2 neurnios na camada
escondida z(t) e 2 neurnios de contexto z(t-1).
Arquitetura Elman
Arquitetura - Jordan
b
z1(t)
z2(t)
z-1
z-1
z1(t)
z2(t)
z-1
x1
x2
y(t-1)
a
x1
x2
z1(t-1)
z2(t-1)
Universidade Federal do Paran Departamento de Expresso Grfica Prof. Paulo Henrique Siqueira
83
Metaheursticas e Aplicaes
2. Utilize uma Rede de Elman para resolver o problema de sries temporais dado abaixo com
entradas x. Considere os seguintes parmetros: =1, 1 camada escondida, com 2 neurnios,
aprendizagem backpropagation, pesos iniciais:
a
1
b
-1,00
1,00
1,00
1
x1
1
2
3
4
5
x2
2
3
4
5
6
wa
1
2
1,00
-1,00
-1,00
1,00
d
0,6
0,5
0,3
0,2
0,1
wb
1
2
-1,00
1,00
1,00
-1,00
x1
y2(t-1)= 1
1
-1,00
1,00
x2
y1(t-1)= 1
wa
yj
w
1
2
wb
yj* = iwaijxi+
wbkjyk(t-1)+
aj
yj = 1/(1+e^(-yj*))
y* = wjyj+
b
y = 1/(1+e^(-y*))
wj=
(d-y)yjy(1-y)
wj=wj+
wj
b=
(d-y)y(1-y)
waij=
y(1-y)(d-y)wjyj(1-yj)xi
waij=waij+
waij
a=
y(1-y)(d-y)wjyj(1-yj)
wbkj=
y(1-y)(d-y)wjyk(1-yk)yj(t-1)
wbij=wbij+
wbij
Alm das RNA recorrentes, uma rede hbrida tambm pode resolver o problema de sries
temporais.
Uma das RNAs a Rede de Kohonen, com MLPs conectadas a cada agrupamento feito pelo
mapa de Kohonen [Le Coadou & Benabdeslem, 2006]. Outra configurao possvel de uma rede de
Kohonen dupla.
Os seguintes passos so feitos para a rede hbrida SOM+MLP:
Classificar todos os vetores de entrada
(xt , xt-1 ,..., xt-N-1)
Criar um mapa com prottipos similares aos vetores apresentados para a rede:
Universidade Federal do Paran Departamento de Expresso Grfica Prof. Paulo Henrique Siqueira
84
Metaheursticas e Aplicaes
Associar a cada agrupamento (representado pelo centride Gk) uma rede do tipo
MLP. Os vetores do agrupamento so considerados como entrada para a MLP.
A previso de cada entrada apresentada rede o resultado do processamento de
cada MLP.
x(t)
x(t-1)
...
x(t-p)
x(t+1)
Resultados:
Global MLP
SOM + MLP
REFERNCIAS
DORIGO, M.; GARAMBARDELLA, L.M., Ant Colonies for the Traveling Salesman Problem. Biosystems,
vol 43, n. 2, p. 73-81, 1997
FAUSETT, L. Fundamentals of Neural Networks. Prentice Hall, 1994
HAYKIN, S. Neural Networks A Compreensive Foundation. Macmillan College Publishing, 1994
KOHONEN, T. Self-Organizing Maps. Springer, 1995
SILVA, I.N.; SPATTI, D.H.; FLAUZINO, R.A. Redes Neurais Artificiais para engenharia e cincias
aplicadas. Artliber, 2010
TAFNER, M.A.; XEREZ, M.; RODRGUEZ FILHO, I.W. Redes Neurais Artificiais: introduo e princpios
da neurocomputao. FURB, 1996
http://www.swarmintelligence.org/tutorials.php
Universidade Federal do Paran Departamento de Expresso Grfica Prof. Paulo Henrique Siqueira