Uma Rede Neural Auto-Organizável Construtiva para Aprendizado Perpétuo de Padrões Espaço-Temporais

UNIVERSIDADE FEDERAL DO RIO GRANDE DO SUL
INSTITUTO DE INFORMTICA
PROGRAMA DE PS-GRADUAO EM COMPUTAO
EDUARDO NUNES FERREIRA BASTOS
Uma Rede Neural Auto-Organizvel

Construtiva para Aprendizado Perptuo de
Padres Espao-Temporais
Dissertao apresentada como requisito parcial

para a obteno do grau de
Mestre em Cincia da Computao
Prof. Dr. Paulo Martins Engel

Orientador
Porto Alegre, agosto de 2007
CIP CATALOGAO NA PUBLICAO

Bastos, Eduardo Nunes Ferreira
Uma Rede Neural Auto-Organizvel Construtiva para Aprendizado Perptuo de Padres Espao-Temporais / Eduardo Nunes
Ferreira Bastos. Porto Alegre: PPGC da UFRGS, 2007.
137 f.: il.
Dissertao (mestrado) Universidade Federal do Rio Grande
do Sul. Programa de Ps-Graduao em Computao, Porto Alegre, BRRS, 2007. Orientador: Paulo Martins Engel.
1. Cincia cognitiva corporificada. 2. Redes neurais artificiais.
3. Auto-organizao. 4. Representao temporal. 5. Aprendizado
construtivo. I. Engel, Paulo Martins. II. Ttulo.
UNIVERSIDADE FEDERAL DO RIO GRANDE DO SUL

Reitor: Prof. Jos Carlos Ferraz Hennemann
Vice-Reitor: Prof. Pedro Cesar Dutra Fonseca
Pr-Reitora de Ps-Graduao: Profa . Valquria Linck Bassani
Diretor do Instituto de Informtica: Prof. Flvio Rech Wagner
Coordenadora do PPGC: Profa . Luciana Porcher Nedel
Bibliotecria-chefe do Instituto de Informtica: Beatriz Regina Bastos Haro
Dedico este trabalho minha famlia e minha namorada Karina

por estarem presente em todos os momentos da minha vida
SUMRIO
LISTA DE ABREVIATURAS E SIGLAS . . . . . . . . . . . . . . . . . . . .
LISTA DE FIGURAS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
LISTA DE TABELAS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
14
LISTA DE ALGORITMOS . . . . . . . . . . . . . . . . . . . . . . . . . . . .
15
RESUMO . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
16
ABSTRACT
17
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1 INTRODUO . . . . . . . . . . . . . .
1.1
Contexto do trabalho . . . . . . . . . . .
1.2
Motivao principal . . . . . . . . . . .
1.3
Objetivo geral e objetivos especficos . .
1.4
Posicionamento, justificativa e relevncia
1.5
Contribuies relevantes . . . . . . . . .
1.6
Estrutura da dissertao . . . . . . . . .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
. . . . . . . . . .
. . . . . . . . . . .
. . . . . . . . . . .
. . . . . . . . . . .
. . . . . . . . . . .
. . . . . . . . . . .
. . . . . . . . . . .
18
18
21
22
22
24
24
2 FUNDAMENTOS DE CINCIAS COGNITIVAS .

2.1
Introduo . . . . . . . . . . . . . . . . . . . . . .
2.2
Abordagens tradicionais das cincias cognitivas . .
2.2.1
Cognitivismo . . . . . . . . . . . . . . . . . . .
2.2.2
Conexionismo . . . . . . . . . . . . . . . . . . .
2.2.3
Projeto de agentes de software tradicionais . . . .
2.3
Abordagens contemporneas das cincias cognitivas
2.3.1
Teoria Ecolgica . . . . . . . . . . . . . . . . . .
2.3.2
Teoria da Autopoiese . . . . . . . . . . . . . . .
2.3.3
Teoria da Enao . . . . . . . . . . . . . . . . .
2.3.4
Teoria Psicolgica Construtivista . . . . . . . . .
2.3.5
Teoria da Seleo de Grupos Neurais . . . . . . .
2.3.6
Projeto de agentes de software contemporneos .
2.4
Consideraes do captulo . . . . . . . . . . . . . .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
. . . . . . . . . .
. . . . . . . . . . .
. . . . . . . . . . .
. . . . . . . . . . .
. . . . . . . . . . .
. . . . . . . . . . .
. . . . . . . . . . .
. . . . . . . . . . .
. . . . . . . . . . .
. . . . . . . . . . .
. . . . . . . . . . .
. . . . . . . . . . .
. . . . . . . . . . .
. . . . . . . . . . .
26
26
27
27
28
28
29
29
29
30
30
30
33
40
3 FUNDAMENTOS DE REDES NEURAIS ARTIFICIAIS

3.1
Introduo . . . . . . . . . . . . . . . . . . . . . . . . .
3.2
O neurnio biolgico . . . . . . . . . . . . . . . . . . .
3.3
O neurnio artificial . . . . . . . . . . . . . . . . . . . .
. . . . . . . . .
. . . . . . . . . .
. . . . . . . . . .
. . . . . . . . . .
41
41
42
43
3.4
A rede neural de mltiplos neurnios . . . . . . .
3.5
A rede neural auto-organizvel de Kohonen . . . .
3.5.1
Processo de competio . . . . . . . . . . . . .
3.5.2
Processo de cooperao . . . . . . . . . . . . .
3.5.3
Processo de adaptao . . . . . . . . . . . . . .
3.5.4
Mtricas de preciso e preservao de topologia
3.5.5
Propriedades do mapa de caractersticas . . . .
3.6
Consideraes do captulo . . . . . . . . . . . . .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
45
47
49
49
50
51
51
52
4 TRABALHOS CORRELATOS . . . . . . . . . . . . . . . . . . . . . . .
4.1
As redes neurais auto-organizveis temporais . . . . . . . . . . . . . . . . .
4.1.1
Processamento de seqncias temporais: definies e propriedades . . . .
4.1.2
Memrias de curto prazo . . . . . . . . . . . . . . . . . . . . . . . . . .
4.1.3
Time-Delayed Self-Organizing Map (TDSOM) . . . . . . . . . . . . . .
4.1.4
Differentiator-Integrator Neuron (DIN) . . . . . . . . . . . . . . . . . . .
4.1.5
Temporal Kohonen Map (TKM) . . . . . . . . . . . . . . . . . . . . . .
4.1.6
Recurrent Self-Organizing Map (RSOM) . . . . . . . . . . . . . . . . . .
4.1.7
Contextual Self-Organizing Map (CSOM) . . . . . . . . . . . . . . . . .
4.1.8
Sequential Activation Retention and Decay NETwork (SARDNET) . . . .
4.1.9
Adaptive Resource Allocating Vector Quantization (ARAVQ) . . . . . . .
4.1.10 Resumo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
4.2
As redes neurais auto-organizveis construtivas . . . . . . . . . . . . . . .
4.2.1
Growing Cell Structures (GCS) . . . . . . . . . . . . . . . . . . . . . . .
4.2.2
Incremental Grid Growing (IGG) . . . . . . . . . . . . . . . . . . . . . .
4.2.3
Growing Grid (GG) . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
4.2.4
Growing Neural Gas (GNG) . . . . . . . . . . . . . . . . . . . . . . . .
4.2.5
Adaptive Resonance Theory (ART) . . . . . . . . . . . . . . . . . . . . .
4.2.6
Resumo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
4.3
Consideraes do captulo . . . . . . . . . . . . . . . . . . . . . . . . . . .
54
54
55
55
64
64
64
65
65
66
66
67
68
69
70
70
71
72
72
73
5 PROPOSTA DE REDE NEURAL ARTIFICIAL . . . .

5.1
Introduo . . . . . . . . . . . . . . . . . . . . . . . .
5.2
Estrutura geral da rede neural . . . . . . . . . . . . . .
5.3
Funcionamento da rede neural . . . . . . . . . . . . . .
5.3.1
Processo de inicializao . . . . . . . . . . . . . . .
5.3.2
Processo de competio . . . . . . . . . . . . . . . .
5.3.3
Processo de cooperao . . . . . . . . . . . . . . . .
5.3.4
Processo de adaptao . . . . . . . . . . . . . . . . .
5.3.5
Processo de incluso e remoo de neurnios . . . .
5.3.6
Processo de incluso, adaptao e remoo de arestas
5.4
Resumo do algoritmo . . . . . . . . . . . . . . . . . .
5.5
Notao matemtica . . . . . . . . . . . . . . . . . . .
5.6
Anlise paramtrica . . . . . . . . . . . . . . . . . . .
5.7
Inspirao biolgica . . . . . . . . . . . . . . . . . . .
5.8
Discusso . . . . . . . . . . . . . . . . . . . . . . . .
5.9
Consideraes do captulo . . . . . . . . . . . . . . . .
74
74
75
79
80
81
81
82
83
86
87
87
88
90
91
93
. . . . . . . . . .
. . . . . . . . . . .
. . . . . . . . . . .
. . . . . . . . . . .
. . . . . . . . . . .
. . . . . . . . . . .
. . . . . . . . . . .
. . . . . . . . . . .
. . . . . . . . . . .
. . . . . . . . . . .
. . . . . . . . . . .
. . . . . . . . . . .
. . . . . . . . . . .
. . . . . . . . . . .
. . . . . . . . . . .
. . . . . . . . . . .
6 RESULTADOS EXPERIMENTAIS . . . . . . . . . . . . . . . . . . . . .
6.1
Metodologia . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
6.2
Quantizao vetorial . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
6.2.1
Distribuio bidimensional de dados . . . . . . . . . . . . . . . . . . . .
6.2.2
Distribuio no-linearmente separvel de dados . . . . . . . . . . . . . .
6.2.3
Distribuio multimodal de dados . . . . . . . . . . . . . . . . . . . . .
6.2.4
Distribuio no-estacionria de dados . . . . . . . . . . . . . . . . . . .
6.2.5
Distribuio no-uniforme de dados . . . . . . . . . . . . . . . . . . . .
6.3
Segmentao de seqncias temporais . . . . . . . . . . . . . . . . . . . .
6.3.1
Distribuio espao-temporal de dados em forma de 8 . . . . . . . . . .
6.3.2
Distribuio espao-temporal de dados em forma de circunferncia . . . .
6.4
Consideraes do captulo . . . . . . . . . . . . . . . . . . . . . . . . . . .
95
95
96
96
101
102
103
105
106
106
113
116
7 CONCLUSES E TRABALHOS FUTUROS . . . . . . . . . . . . . . . 117

7.1
Sobre o trabalho . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 117
7.2
Trabalhos futuros . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 118
REFERNCIAS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 120
APNDICE A FERRAMENTA DE SIMULAO ROBTICA
A.1 Introduo . . . . . . . . . . . . . . . . . . . . . . . . . . .
A.2 Ambiente de simulao . . . . . . . . . . . . . . . . . . . .
A.3 Interface de programao de aplicativos . . . . . . . . . . . .
A.4 Robs . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
A.5 Sensores robticos . . . . . . . . . . . . . . . . . . . . . . .
A.6 Efetuadores robticos . . . . . . . . . . . . . . . . . . . . .
A.7 Consideraes do apndice . . . . . . . . . . . . . . . . . .
. . . . . . .
. . . . . . . .
. . . . . . . .
. . . . . . . .
. . . . . . . .
. . . . . . . .
. . . . . . . .
. . . . . . . .
130
130
131
133
133
134
137
137
LISTA DE ABREVIATURAS E SIGLAS
ADALINE
Adaptive Linear Element
. . . . . . . . . . . . . . . . . . . . .
AHIGG
Adaptive Hierarchical Incremental Grid Growing
API
Application Programming Interface . . . . . . . . . . . . . . . . 133
ARAVQ
Adaptive Resource Allocating Vector Quantization . . . . . . . .
66
ART
Adaptive Resonance Theory . . . . . . . . . . . . . . . . . . . .
47
ART
Adaptive Resonance Theory . . . . . . . . . . . . . . . . . . . .
72
BPTT
Backpropagation Through Time . . . . . . . . . . . . . . . . . .
21
CasCor
Cascade-Correlation . . . . . . . . . . . . . . . . . . . . . . . .
21
CHL
Competitive Hebbian Learning . . . . . . . . . . . . . . . . . .
71
CPN
Counterpropagation . . . . . . . . . . . . . . . . . . . . . . . .
47
CR
Conditioned Response . . . . . . . . . . . . . . . . . . . . . . .
38
CSOM
Contextual Self-Organizing Map
. . . . . . . . . . . . . . . . .
65
CS
Conditioned Stimuli . . . . . . . . . . . . . . . . . . . . . . . .
38
DAC
Distributed Adaptive Control . . . . . . . . . . . . . . . . . . . 137
DASH
Dynamic Adaptive Self-Organising Hybrid Model . . . . . . . .
72
DIN
Differentiator-Integrator Neuron
. . . . . . . . . . . . . . . . .
64
DNA
Deoxyribonucleic Acid
. . . . . . . . . . . . . . . . . . . . . .
26
DOF
Degree of Freedom
EBA
Extended Braitenberg Architecture . . . . . . . . . . . . . . . . 137
GCS
Growing Cell Structures . . . . . . . . . . . . . . . . . . . . . .
69
GDCS
Growing Dynamical Cell Structure . . . . . . . . . . . . . . . .
69
GG
Growing Grid
70
GHSOM
Growing Hierarchical Self-Organizing Map
. . . . . . . . . . .
71
GNG
Growing Neural Gas . . . . . . . . . . . . . . . . . . . . . . . .
71
GPL
General Public License
GSOM
Growing Self-Organizing Map
. . . . . . . .
46
70
. . . . . . . . . . . . . . . . . . . . . . . . 137
. . . . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . 130
. . . . . . . . . . . . . . . . . .
70
GTSOM
Growing Temporal Self-Organizing Map . . . . . . . . . . . . .
74
GWR
Grow When Required . . . . . . . . . . . . . . . . . . . . . . .
71
HiGS
Hierarchical Growing Cell Structures . . . . . . . . . . . . . . .
69
HSOM
Habituating Self-Organizing Map . . . . . . . . . . . . . . . . .
75
IA
Inteligncia Artificial
. . . . . . . . . . . . . . . . . . . . . . .
18
IC
Inteligncia Computacional . . . . . . . . . . . . . . . . . . . .
24
IGG
Incremental Grid Growing
70
LTM
Long-Term Memory . . . . . . . . . . . . . . . . . . . . . . . . 105
MADALINE
Multiple ADALINE . . . . . . . . . . . . . . . . . . . . . . . .
46
MSOM
Merging Self-Organizing Map
. . . . . . . . . . . . . . . . . .
66
NG
Neural Gas . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
71
PSOM
Plastic Self-Organizing Map
. . . . . . . . . . . . . . . . . . .
72
RNA
Redes Neurais Artificiais
. . . . . . . . . . . . . . . . . . . . .
20
RSOM
Recurrent Self-Organizing Map . . . . . . . . . . . . . . . . . .
65
RTRL
Real-Time Recurrent Learning
. . . . . . . . . . . . . . . . . .
21
SARDNET
Sequential Activation Retention and Decay NETwork . . . . . .
66
SMC
Sensory-Motor Coordination
SOM
Self-Organizing Map
. . . . . . . . . . . . . . . . . . . . . . .
47
SOMSD
Self-Organizing Map for Structured Data . . . . . . . . . . . . .
66
STM
Short-Term Memory . . . . . . . . . . . . . . . . . . . . . . . .
55
TDSOM
Time-Delayed Self-Organizing Map
. . . . . . . . . . . . . . .
64
TKM
Temporal Kohonen Map . . . . . . . . . . . . . . . . . . . . . .
64
TNGS
Theory of Neuronal Group Selection . . . . . . . . . . . . . . .
30
TreeGCS
Tree Growing Cell Structures . . . . . . . . . . . . . . . . . . .
70
UR
Unconditioned Response
. . . . . . . . . . . . . . . . . . . . .
38
US
Unconditioned Stimuli
. . . . . . . . . . . . . . . . . . . . . .
38
. . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . 137
LISTA DE FIGURAS
Figura 1.1:
Figura 1.2:
A trilogia do agente de software inteligente idealizado. . . . . . . . .

A trilogia da rede neural artificial idealizada. . . . . . . . . . . . . .
19
20
Figura 2.1:
Figura 2.2:
A viso tradicional do processamento de informao . . . . . . . . .

A viso contempornea do processamento de informao . . . . . . .
28
33
Figura 3.1:
Figura 3.2:
Figura 3.3:
Elementos bsicos de um neurnio biolgico . . . . . . . . . . . . .

Unidade de limiar linear de McCulloch e Pitts . . . . . . . . . . . . .
Exemplos de funes de ativao. esquerda, funo linear. No centro, funo rampa. direita, funo sigmide (tangente hiperblica).
Perceptron de mltiplas camadas de Frank Rosenblatt . . . . . . . . .
Elementos bsicos de um mapa auto-organizvel de Kohonen. Um
padro de entrada x de dimenso m fornecido para a rede no instante t. Dentre todos os l neurnios da rede, um deles considerado
o vencedor v. A vizinhana hvi dada pelos neurnios mais prximos ao neurnio vencedor. Apenas o vencedor e a sua vizinhana
tm os pesos sinpticos modificados, de forma que fiquem ainda mais
prximos do padro de entrada. . . . . . . . . . . . . . . . . . . . .
42
43
Representao grfica de uma memria de atraso k. . . . . . . . . . .

Funo kernel da memria de atraso unitrio (k = 1). . . . . . . . . .
Representao grfica de uma memria de trao exponencial. . . . .
Funo kernel da memria de trao exponencial para = 0.6, 0.7,
0.8, e, 0.9. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
Figura 4.5: Representao grfica da memria Gama. . . . . . . . . . . . . . . .
Figura 4.6: Funo kernel da memria Gama para = 6 e = 0.3, 0.5, e, 0.7. . .
Figura 4.7: Representao grfica da memria diferenciadora-integradora. . . . .
Figura 4.8: Funo kernel da memria diferenciadora-integradora para = 0.0 e
= 0.1; = 0.2 e = 0.4; = 0.6 e = 0.4; = 1.0 e = 0.4. . .
Figura 4.9: Representao grfica da unidade de habituao . . . . . . . . . . . .
Figura 4.10: (A) Sinal temporal de entrada x(t) aplicado s memrias de curto
prazo. (B) Resposta de uma memria de linhas de atraso de parmetro = 3. (C) Resposta de uma memria de trao exponencial de
parmetro = 0.9. (D) Resposta de uma memria gama de parmetros = 6 e = 0.4. (E) Resposta de uma memria diferenciadoraintegradora de parmetros = 0.6 e = 0.4. (F) Resposta de uma
unidade de habituao de parmetros = 0.1 e = 0.9. . . . . . . .
56
57
58
Figura 3.4:
Figura 3.5:
Figura 4.1:
Figura 4.2:
Figura 4.3:
Figura 4.4:
45
46
48
58
59
59
60
61
62
63
Figura 5.1:
Representao grfica da unidade de memorizao. . . . . . . . . . .
76
Figura 5.2:
Representao grfica da unidade de habituao. . . . . . . . . . . .
77
Figura 5.3:
Elementos bsicos da rede neural proposta. . . . . . . . . . . . . . .
78
Figura 5.4:
Mapeamento implementado pela rede neural proposta. . . . . . . .
79
Figura 5.5:
Ajuste de pesos sinpticos na rede neural proposta. Os nmeros reais indicam os valores das sinapses de habituao de cada neurnio
da rede. esquerda, configurao da rede antes da atualizao sinptica. No centro, um padro z apresentado rede e o primeiro
e segundo neurnios vencedores, v e s, respectivamente, so selecionados. direita, os vetores de pesos wz do neurnio vencedor v e
da vizinhana topolgica Nv so ajustados em direo ao padro z,
as sinapses de habituao wh do neurnio vencedor v e da vizinhana
topolgica Nv so atualizadas em direo ao ponto de mximo habituao (valor zero) e as sinapses de habituao dos demais neurnios
da rede so modificadas rumo ao estado inicial de no habituao
(valor 1). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
83
Insero de um novo neurnio na rede neural proposta. esquerda,

configurao da rede antes da insero. No centro, um padro espaotemporal z apresentado rede e o primeiro e segundo neurnios
vencedores, v e s, respectivamente, so selecionados. direita, um
novo neurnio de ndice r adicionado na rede entre o neurnio vencedor v e o padro espao-temporal z e a conexo existente entre v e
s realocada. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
84
Remoo de neurnios na rede neural proposta. Os nmeros reais

indicam os valores das sinapses de habituao de cada neurnio.
esquerda, configurao da rede antes da remoo de neurnios. No
centro, os neurnios que tm o valor da sinapse de habituao prximo de 1 so removidos da rede (e.g., wih 0.95). direita, os
neurnios que no possuem nenhuma conexo sinptica so removidos da rede (i.e., Ni = ). . . . . . . . . . . . . . . . . . . . . . . .
85
Insero, atualizao e remoo de conexes sinpticas na rede neural proposta. Os nmeros inteiros representam os contadores de idade
de cada conexo sinptica da rede. esquerda, configurao da rede
em um instante de tempo arbitrrio. No centro, uma nova conexo
adicionada na rede entre os neurnios vencedores v e s e o contador
de idade dessa conexo feito igual a zero. Ademais, as idades de
todas as conexes existentes entre o neurnio vencedor v e a sua vizinhana topolgica Nv , exceto neurnio s, so incrementadas em uma
unidade. direita, as conexes sinpticas que possuem uma idade
maior que o limiar imax so removidas da rede (e.g, imax = 50). . . .
86
esquerda a triangulao de Delaunay e direita o diagrama de Voronoi resultante para uma distribuio arbitrria de 20 pontos. . . . .
89
Arquitetura simplificada da rede aplicada tarefa de quantizao vetorial. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
96
Figura 5.6:
Figura 5.7:
Figura 5.8:
Figura 5.9:
Figura 6.1:
Figura 6.2:
Figura 6.3:
Figura 6.4:
Figura 6.5:
Simulao de uma distribuio de dados em forma de quadrado com

= 0.75 e = 0.1. Ao todo so 1000 amostras uniformemente
distribudas dentro da rea em cinza claro. (a) Distribuio de densidade dos dados de entrada. (b) Condio da rede aps 10 pocas de
treinamento. (c) Diagrama de Voronoi resultante. . . . . . . . . . . .
97
Simulao de uma distribuio de dados em forma de crculo com

= 0.8 e = 0.1. No total, so 1000 amostras uniformemente distribudas sobre a rea em cinza claro. (a) Distribuio de densidade
dos dados de entrada. (b) Condio da rede aps 10 pocas de treinamento. (c) Diagrama de Voronoi resultante. . . . . . . . . . . . . . .
97
Simulao de uma distribuio de dados em forma de tringulo com

= 0.85 e = 0.1. Ao todo so 1000 amostras uniformemente
distribudas ao longo da rea em cinza claro. (a) Distribuio de densidade dos dados de entrada. (b) Condio da rede aps 10 pocas de
treinamento. (c) Diagrama de Voronoi resultante. . . . . . . . . . . .
98
Falha de ordenao topolgica observada em uma rede de Kohonen

convencional com 25 neurnios dispostos regularmente em 5 linhas
5 colunas. (a) Distribuio dos dados de entrada (1000 amostras). (b)
e (c) Valores iniciais e finais, respectivamente, dos pesos sinpticos
da rede. O arranjo de neurnios encontra-se em uma configurao
metaestvel e, neste caso, a proximidade espacial dos neurnios
violada. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
99
Figura 6.6:
(a) Nmero de neurnios em funo do parmetro de plasticidade.

(b) Nmero de neurnios em funo do parmetro de novidade. (c)
Erro mdio quadrado em funo do parmetro de plasticidade. (d)
Erro mdio quadrado em funo do parmetro de novidade. . . . . . 100
Figura 6.7:
Simulao de uma distribuio de dados em forma de duas espirais

com = 0.7 e = 0.1. (a) Distribuio de densidade de duas espirais
concntricas. Ao todo so 960 amostras. (b) Condio da rede aps
10 pocas de treinamento. . . . . . . . . . . . . . . . . . . . . . . . 102
Figura 6.8:
Simulao de uma distribuio multimodal de dados com = 0.85 e

= 0.1. (a) Distribuio de entrada (1000 amostras distribudas em
quatro regies desconexas). (b) Condio da rede aps 10 pocas de
treinamento. (c) Diagrama de Voronoi resultante. . . . . . . . . . . . 102
Figura 6.9:
Identificao de agrupamentos com nmax = 5. (a) Modelo gerador

com cinco agrupamentos. O smbolo representa o centride de um
determinado agrupamento. (b) Os cinco prottipos calculados pela
rede neural se aproximam dos cinco centrides do modelo gerador.
(c) Diagrama de Voronoi resultante. . . . . . . . . . . . . . . . . . . 103
Figura 6.10: Simulao de uma distribuio no-estacionria de dados com =

0.8 e = 0.1. Ao todo so 1000 amostras uniformemente distribudas dentro das reas em cinza claro. (a) Configurao inicial do mapa
de caractersticas. (b) A distribuio de dados drasticamente modificada e se inicia um processo de incluso e migrao de neurnios.
(c) Todos os neurnios so realocados para regies de alta densidade
probabilstica. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 103
Figura 6.11: (a) Erro de quantizao da rede (EMQ=0.00559). (b) Nmero de

neurnios em funo do tempo. O nmero mnimo de neurnios permitido na rede fixado em 2. O nmero mximo de neurnios
governado pelo parmetro nmax e, neste caso, vale 300. . . . . . . . .
Figura 6.12: Valor do peso da sinapse de habituao de um neurnio arbitrrio
em funo do tempo. O neurnio adicionado rede no instante de
tempo 11. A distribuio de dados alterada aps 5 pocas. Neste
momento, o neurnio se torna no-representativo para a distribuio
de densidade e removido da rede no instante de tempo 5542. . . . .
Figura 6.13: Simulao de uma distribuio no-estacionria de dados com =
0.8 e = 0.1. Em particular, o parmetro da taxa de sensibilizao,
, foi fixado em 0.0. No total, so 1000 amostras uniformemente
distribudas sobre as reas em cinza claro. (ac) Configurao do
mapa antes, durante e depois da distribuio sofrer uma alterao. . .
Figura 6.14: Simulao de uma distribuio no-uniforme de dados com = 0.85,
= 0.1. (a) Distribuio dos dados de entrada. Ao todo so 1000
amostras distribudas sobre as reas em cinza: 900 dentro do retngulo da esquerda e apenas 100 ao longo do retngulo da direita. (b)
Alocao de mais recursos (i.e., neurnios) para a regio com maior
densidade de amostras. (c) Diagrama de Voronoi resultante. . . . . .
Figura 6.15: Ilustrao da seqncia temporal em forma de 8. O crculo fechado
() simboliza o ponto inicial da seqncia (t = 0), a seta indica o
sentido do fluxo (da esquerda para a direita) e o crculo aberto ()
representa os dois pontos ambguos da seqncia temporal (t = 50 e
t = 150), alocados na mesma posio espacial (0.5, 0.5). . . . . . . .
Figura 6.16: Simulao de uma distribuio de dados em forma de 8 com =
0.7, = 0.1, = 0.7, = 0.7, = 0.01, = 0.9 e = 0.7. (a)
Condio da rede aps 10 pocas de aprendizagem. (b) Espao de
representao gerado pela unidade de memorizao . (c) Erro de
quantizao da rede (EMQ=0.01001). (d) Atividade na sada da rede
na ltima poca. Os smbolos H e N indicam os instantes t = 50 e
t = 150, respectivamente, representados pelos neurnios de ndice 5
e 14, respectivamente. . . . . . . . . . . . . . . . . . . . . . . . . .
Figura 6.17: Simulao de uma distribuio de dados em forma de 8 com 20
neurnios dispostos num mapa de Kohonen unidimensional circular
de parmetros = 1.5 e = 1. (a) Condio da rede aps 10 pocas de treinamento. (b) Heurstica usada para decrescer monotonicamente o valor de com o transcorrer do treinamento. (c) Erro de
quantizao da rede (EMQ=0.019118). (d) Atividade na sada da rede
na ltima poca. . . . . . . . . . . . . . . . . . . . . . . . . . . . .
Figura 6.18: Freqncias de convergncia e de classificao de cada rede neural
auto-organizvel na tarefa de segmentao temporal. A barra da esquerda indica a porcentagem de convergncia dos neurnios prottipos, ou seja, a freqncia de representao estvel da seqncia temporal. A barra da direita aponta a porcentagem de acerto na classificao da seqncia temporal, isto , a freqncia de identificao da
posio de ambigidade. . . . . . . . . . . . . . . . . . . . . . . . .
104
104
105
106
106
107
109
110
Figura 6.19: Erro mdio quadrado de quantizao de cada rede neural auto-organizvel
na tarefa de segmentao temporal. A linha vertical sobre cada barra
representa a margem de erro, isto , o desvio padro para mais e para
menos em torno da mdia. . . . . . . . . . . . . . . . . . . . . . . . 110
Figura 6.20: Simulao de uma distribuio de dados em forma de 8 com rudo
de distribuio uniforme no intervalo [0.1, 0.1]. (a) Condio da
rede aps 10 pocas. (b) Espao de representao gerado pela unidade de memorizao . (c) Erro de quantizao da rede (EMQ=0.01872).
(d) Atividade na sada da rede na ltima poca. . . . . . . . . . . . . 111
de translao. (a) Condio da rede aps 10 pocas de aprendizagem.
(b) Espao de representao gerado pela unidade de memorizao .
(c) Erro de quantizao da rede (EMQ=0.01891). (d) Atividade na
sada da rede na ltima poca. . . . . . . . . . . . . . . . . . . . . . 112
de rotao. (a) Condio da rede aps 10 pocas de aprendizagem.
(b) Espao de representao gerado pela unidade de memorizao .
(c) Erro de quantizao da rede (EMQ=0.01803). (d) Atividade na
sada da rede na ltima poca. . . . . . . . . . . . . . . . . . . . . . 113
Figura 6.23: Ilustrao da seqncia temporal definida sobre uma circunferncia
de raio igual a 0.5 e centro igual a (0.5, 0.5). No total, so 50 amostras
uniformemente distribudas ao longo da circunferncia. O smbolo
representa o ponto inicial da seqncia e a seta indica o sentido de
rotao do fluxo: (a) horrio (t = {0..249; 500..749}) ou (b) antihorrio (t = {250..499; 750..999}). . . . . . . . . . . . . . . . . . . 114
Figura 6.24: Simulao de uma distribuio de dados em forma de circunferncia
com = 0.7, = 0.1, = 0.6, = 0.4, = 0.05, = 0.9, = 0.7.
(a) Condio da rede aps 10 pocas de aprendizagem. O smbolo
H indica os neurnios ativos durante o sentido de rotao horrio. O
smbolo N aponta os neurnios ativos durante o sentido de rotao
anti-horrio. (b) Espao de representao gerado pela unidade de
memorizao . Todos os 50 pontos so ambguos. Os smbolos H e
N representam os pontos iniciais da seqncia temporal nos sentidos
de rotao horrio e anti-horrio, respectivamente. . . . . . . . . . . 114
Figura 6.25: Identificao de dois agrupamentos distintos na distribuio de dados.
Os neurnios posicionados no eixo z = 1.0 mapeiam o sentido de
rotao horrio. Os neurnios alocados no eixo z = 1.0 mapeiam
o sentido de rotao anti-horrio. . . . . . . . . . . . . . . . . . . . . 115
Figura 6.26: (a) Neurnios inseridos entre a primeira e a quinta poca (rotao horria). (b) Atividade na sada da rede na quinta poca. (c) Neurnios
adicionados entre a quinta e a dcima poca (rotao anti-horria) (d)
Atividade na sada da rede na dcima poca. . . . . . . . . . . . . . . 116
Figura 6.27: Simulao de uma distribuio de dados em forma de circunferncia
com uma rede TKM de parmetro = 0.8. (a) Condio da grade
aps 10 pocas de aprendizagem. (b-c) Atividade na sada da rede na
quinta poca e na dcima poca, respectivamente. Note que todos os
neurnios esto ativos em ambos os sentidos de rotao. . . . . . . . 116
LISTA DE TABELAS
Tabela 2.1:
Tabela 2.2:
Abordagens cognitivas para o estudo da inteligncia . . . . . . . . .

Viso geral dos principais paradigmas de aprendizagem . . . . . . .
27
37
Tabela 3.1:
Inspirao biolgica das redes neurais. Adaptado de: (BARONE, 2003,

p. 120). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
47
Tabela 4.1:
Tabela 4.2:
Resumo das redes neurais auto-organizveis temporais . . . . . . . .

Resumo das redes neurais auto-organizveis construtivas . . . . . . .
68
73
Tabela 5.1:
Tabela 5.2:
Tabela 5.3:
Tabela 5.4:
Resumo das funes da rede neural proposta. . . . . . . . . .

Resumo das variveis da rede neural proposta. . . . . . . . .
Resumo dos parmetros da rede neural proposta. . . . . . . .
Resumo das principais caractersticas da rede neural proposta.
87
88
88
94
Tabela 6.1:
Tabela 6.2:
Relao do parmetro de novidade com a gnese da rede . . . . . . . 101

Resumo dos desempenhos de segmentao da seqncia temporal 8 108
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
LISTA DE ALGORITMOS
Algoritmo 3.1: Algoritmo de Retropropagao de Erros (Backpropagation) . .

Algoritmo 3.2: Algoritmo do Mapa Auto-Organizvel de Kohonen . . . . . . .
Algoritmo 5.1: Algoritmo da rede neural proposta. . . . . . . . . . . . . . . . .
46
49
87
RESUMO
O presente trabalho prope um novo modelo de rede neural artificial voltado a aplicaes robticas, em especial a tarefas de natureza espao-temporal e de horizonte infinito. Este modelo apresenta trs caractersticas que o tornam nico e que foram tomadas
como guia para a sua concepo: auto-organizao, representao temporal e aprendizado construtivo. O algoritmo de aprendizagem auto-organizada incorpora todos os
mecanismos que so bsicos para a auto-organizao: competio global, cooperao
local e auto-amplificao seletiva. A rede neural suprida com propriedades dinmicas
atravs de uma memria de curto prazo. A memria de curto prazo inserida na estrutura da rede por meio de integradores e diferenciadores, os quais so implementados na
camada de entrada da rede. Nesta abordagem existe uma evidente separao de papis: a
rede responsvel pela no-linearidade e a memria responsvel pelo tempo. A construo automtica da arquitetura da rede neural realizada de acordo com uma unidade
de habituao. A unidade de habituao regula o crescimento e a poda de neurnios. O
procedimento de incluso, adaptao e remoo de conexes sinpticas realizado conforme o mtodo de aprendizado hebbiano competitivo. Em muitos problemas prticos,
como os existentes na rea da robtica, a auto-organizao, a representao temporal e o
aprendizado construtivo so fatores imprescindveis para o sucesso da tarefa. A grande dificuldade e, ao mesmo tempo, a principal contribuio deste trabalho consiste em integrar
tais tecnologias em uma arquitetura de rede neural artificial de maneira eficiente. Estudos
de caso foram elaborados para validar e, principalmente, determinar as potencialidades
e as limitaes do modelo neural proposto. Os cenrios abrangeram tarefas simples de
classificao de padres e segmentao temporal. Os resultados preliminares obtidos demonstraram a eficincia do modelo neural proposto frente s arquiteturas conexionistas
existentes e foram considerados bastante satisfatrios com relao aos parmetros avaliados. No texto so apresentados, tambm, alguns aspectos tericos das cincias cognitivas,
os fundamentos de redes neurais artificiais, o detalhamento de uma ferramenta de simulao robtica, concluses, limitaes e possveis trabalhos futuros.
Palavras-chave: Cincia cognitiva corporificada, redes neurais artificiais, auto-organizao,

representao temporal, aprendizado construtivo.
A growing self-organizing neural network for lifelong learning of spatiotemporal

patterns
ABSTRACT
The present work proposes a new artificial neural network model suitable for robotic
applications, in special to spatiotemporal tasks and infinite horizon tasks. This model
has three characteristics which make it unique and are taken as means to guide its conception: self-organization, temporal representation and constructive learning. The algorithm of self-organizing learning incorporates all the mechanisms that are basic to the
self-organization: global competition, local cooperation and selective self-amplification.
The neural network is supplied with dynamic properties through a short-term memory.
The short-term memory is added in the network structure by means of integrators and
differentiators, which are implemented in the input layer of the network. In this approach
exists an evident separation of roles: the network is responsible for the non-linearity and
the memory is responsible for the time. The automatic construction of the neural network architecture is carried out taking into account habituation units. The habituation
unit regulates the growing and the pruning of neurons. The procedure of inclusion, adaptation and removal of synaptic connections is carried out in accordance with competitive
hebbian learning technique. In many practical problems, as the ones in the robotic area,
self-organization, temporal representation and constructive learning are essential factors
to the success of the task. The great difficulty and, at the same time, the main contribution
of this work consists in the integration of these technologies in a neural network architecture in an efficient way. Some case studies have been elaborated to validate and, mainly,
to determine the potentialities and the limitations of the proposed neural model. The
experiments comprised simple tasks of pattern classification and temporal segmentation.
Preliminary results have shown the good efficiency of the neural model compared to existing connectionist architectures and they have been considered sufficiently satisfactory
with regard to the evaluated parameters. This text also presents some theoretical aspects
of the cognitive science area, the fundamentals of artificial neural networks, the details of
a robotic simulation tool, the conclusions, limitations and possible future works.
Keywords: Embodied cognitive science, artificial neural networks, self-organization,

temporal representation, constructive learning.
18
INTRODUO
1.1
Contexto do trabalho
As cincias cognitivas, ou cincias da cognio, consistem em um amplo programa de

pesquisa que tem por objeto a inteligncia, desde sua estrutura formal at seu substrato
biolgico. As cincias cognitivas envolvem vrias disciplinas, dentre as quais pode-se
citar a psicologia, a filosofia, a fsica, a lingstica e a antropologia. Cada disciplina contribui, conforme suas perspectivas, para compreender, conceber e pensar o conhecimento
e o saber humanos (DUPUY, 1996). O estudo das cincias cognitivas possui duas correntes
cientficas identificveis que se intercalam em perodos da Histria. Uma corrente, denominada da objetividade (ou tradicional), assume uma separao entre sujeito e meio e,
portanto, o saber e conhecer humanos so vistos como representaes internas realizadas
pelo sujeito de um mundo externo. A outra corrente, chamada da no-objetividade (ou
contempornea), assume o sujeito como parte do meio, e o saber e conhecer humanos
surgem das interaes do sujeito com o mundo do qual ele faz parte.
De acordo com os fundamentos terico-conceituais de cada uma das vertentes das
cincias da cognio, a Inteligncia Artificial1 (IA) busca projetar e desenvolver mecanismos de software e/ou hardware que apresentem comportamento inteligente. Em sua vasta
maioria, os desenvolvimentos tm se embasado em abordagens tradicionais, alcanando
relativo sucesso. Isso se deve em parte a algumas inadequaes das abordagens tradicionais quanto suposta inteligncia dos mecanismos artificiais construdos (e.g., diviso
do processamento da informao em sentir-pensar-agir). Por outro lado, as abordagens
contemporneas, dentre as quais se destaca a cognio situada e corporificada (COSTA;
ROCHA, 2005; DOWNING, 2005), apresentam um caminho alternativo e aparentemente
mais coerente para se desenvolver os agentes de software cognitivos (SANTOS, 2003).
Um agente de software (ou agente de hardware)2 composto basicamente por sensores, efetuadores e por uma entidade cognitiva que realiza o processamento de informao
perceptiva e a tomada de deciso motora (RUSSELL; NORVIG, 2004, p. 6). Em particular,
um agente de software inteligente um sistema computacional que opera em ambientes dinmicos e imprevisveis e possui atributos que o diferenciam de meros programas
computacionais, tais como operar sob controle autnomo, perceber seu ambiente, per1
A Inteligncia Artificial a parte da Cincia da Computao cuja nfase est no estudo e desenvolvimento de entidades inteligentes, isto , sistemas de software ou hardware que exibem caractersticas
associadas inteligncia de uma forma geral, como compreenso da linguagem, aprendizado e raciocnio.
2
A palavra agente vem do latino agere, que significa fazer. No mbito da Inteligncia Artificial, o
significado do termo agente no partilhado por todos os investigadores da rea. No entanto, a maioria dos
pesquisadores define agente como uma entidade software ou hardware imersa em um ambiente e dotada
de sensores e efetuadores apropriados execuo das tarefas para as quais foi projetada.
19
sistir por um perodo de tempo prolongado, adaptar-se a mudanas, ser capaz de assumir
metas de outros, etc. (FRANKLIN; GRAESSER, 1997). No presente trabalho, trs aspectos so considerados imprescindveis no projeto de um agente de software inteligente:
autonomia, localidade e corporificao (PFEIFER; IIDA; BONGARD, ). O diagrama da Figura 1.1 mostra graficamente a trilogia3 do agente de software inteligente idealizado.
Autonomia
Agente
de software
Localidade
Corporificao
Figura 1.1: A trilogia do agente de software inteligente idealizado.

A autonomia consiste na capacidade do agente de governar a si prprio durante a execuo de determinadas tarefas. O agente de software deve ser capaz de funcionar com
pouqussima interferncia, superviso ou instruo externa. O grau de autonomia de um
agente est relacionado sua habilidade de decidir por si s como relacionar os dados dos
sensores com os comandos dos efetuadores em seus esforos para atingir objetivos, satisfazer motivaes, etc (PFEIFER; SCHEIER, 2001). Uma das principais caractersticas do
comportamento autnomo decorre da necessidade do agente de se adaptar, eventualmente
se auto-organizar, de forma a contornar situaes imprevistas, como naturalmente ocorre
na interao com um meio externo dinmico, cujos parmetros so variantes no tempo.
A localidade compreende na maneira com que o agente de software adquire e utiliza a
informao perceptiva. O princpio da localidade afirma que a inteligncia de um agente
de software est situada no meio e no em algum modelo formal do mundo construdo em
suas estruturas internas. Portanto, um agente de software deve adquirir a informao sobre
o meio ambiente atravs de seus prprios sensores e a utilizar no processo de percepo,
ao invs de usar dedues baseadas em alguma representao simblica do mundo.
A corporificao constitui na realizao do agente de software como um sistema fsico ou computacional (ZIEMKE, 2003). O produto da corporificao um corpo, o qual
confere ao agente sensores e efetuadores para mediar a interao com o meio ambiente.
De acordo com Florian (2003), a corporificao no necessariamente dada pela materialidade, como a apresentada em animais ou robs fsicos, mas por uma relao dinmica
com o ambiente. Por esse motivo, a pesquisa tambm pode ser realizada com ambientes
de simulao genuinamente computacionais.
A rea da robtica um campo de estudos fascinante e ao mesmo tempo desafiador.
Robs fsicos ou agentes de software inteligentes tm cada vez mais o papel de agilizar e
facilitar a realizao de tarefas cotidianas por exemplo, transporte de materiais, combate
a incndios, desativao de explosivos, participao em cirurgias e prestao de servios
3
A palavra trilogia significa o estudo de trs entidades que se interrelacionam e formam um conjunto.
Por exemplo, trilogia pode ser um conjunto de trs obras literrias vinculadas entre si e que se unem em um
tema comum, ou simplesmente uma obra dividida em trs partes.
20
em geral (RUSSELL; NORVIG, 2004, p. 870912). Hoje em dia, a pesquisa em redes neurais artificiais4 (RNA) tem se apresentado como uma alternativa vivel para a soluo de
problemas complexos no campo da robtica.
As redes neurais artificiais representam um tema multidisciplinar com razes na neurocincia, matemtica, estatstica, fsica, cincia da computao e engenharia. A sua
habilidade para aprender a partir de exemplos as tornou ferramentas inestimveis em
aplicaes to diversas como modelagem, anlise de sries temporais, reconhecimento
de padres, processamento de sinais e controle (ENGEL, 2001). De forma resumida, uma
rede neural artificial compreende um sistema no-linear do tipo caixa-preta, pois fornece
uma estrutura com parmetros distribudos que podem ser ajustados atravs de algoritmos de treinamento eficientes. A classe de modelos que pode ser implementada por uma
rede neural depende essencialmente da arquitetura especfica da rede considerada (ENGEL, 2001). No presente trabalho, trs aspectos fundamentais so ponderados no projeto
de uma rede neural: auto-organizao, representao temporal e aprendizado construtivo. O diagrama da Figura 1.2 mostra graficamente a trilogia da rede neural idealizada.
Auto-organizao
Rede neural
artificial
Representao
Temporal
Aprendizado
Construtivo
Figura 1.2: A trilogia da rede neural artificial idealizada.

O conceito de auto-organizao de sistemas tem suas primeiras formulaes matemticas propostas com o advento da Ciberntica (ASHBY, 1970; PESSOA JR., 2001).
Atualmente, h muitas teorias que apiam a hiptese de auto-organizao de redes neurais. Em comum a todas as teorias, h princpios e mecanismos bsicos que regem
a auto-organizao por exemplo, a competio global, a cooperao local e a autoamplificao seletiva (HAYKIN, 2001, p. 430432). Um sistema dito auto-organizvel
se a sua estrutura modificada em funo de sua experincia e de seu relacionamento com
o meio ambiente, sem o auxlio de um professor externo ou um crtico para supervisionar
a aprendizagem.
A representao temporal constitui um ingrediente essencial do processo de aprendizagem. atravs da incorporao do tempo na operao de uma rede neural que ela
se torna capaz de solucionar diversas tarefas cognitivas encontradas na prtica, como a
viso, a fala e o controle motor (HAYKIN, 2001, p. 686). No entanto, o processamento de
seqncias temporais uma tarefa desafiadora para a qual ainda no h uma abordagem
unificada (BARRETO; ARAJO, 2001, p. 5). Isto se deve em parte diversidade de propriedades dos sinais temporais. Basicamente, h duas formas de incluir o tempo na operao
4
As redes neurais artificiais so tambm referidas na literatura como neurocomputadores, redes conexionistas, processadores paralelamente distribudos, etc. (HAYKIN, 2001). Em todo o texto desta dissertao,
utiliza-se o termo redes neurais; ocasionalmente o termo redes neurais artificiais ou redes usado.
21
de uma rede neural: atravs de laos de realimentao (recorrncia) ou por meio de memrias de curto prazo. Em geral, a memria de curto prazo a pea-chave para o projeto
de redes neurais, pois converte informao temporal em espacial, possibilitando que redes
estticas convencionais sejam empregadas em tarefas que envolvam o processamento de
padres espao-temporais. A memria pode ser aplicada externa ou internamente rede e
comumente codificada por linha de atrasos de tempo, diferenciadores e/ou integradores.
O aprendizado construtivo uma tcnica que possibilita incluir e remover neurnios
na estrutura da rede neural5 . Os mtodos de aprendizagem construtiva se enquadram
em duas categorias principais (HAYKIN, 2001, p. 245): (i) pelo crescimento da rede, comeando com uma arquitetura de rede bastante simples e ento adicionando um novo
neurnio ou uma nova conexo sinptica quando a rede no for capaz de satisfazer as
especificaes de projeto; e (ii) pela poda da rede, iniciando com uma arquitetura de rede
de dimenso elevada e ento podando-a pela reduo ou eliminao de certos neurnios
ou pesos sinpticos de uma forma seletiva e ordenada.
Dentro destas concepes, a hiptese de trabalho a de que as trs caractersticas
supracitadas auto-organizao, representao temporal e aprendizado construtivo ,
quando combinadas adequadamente em uma rede neural artificial, viabilizam a resoluo de tarefas de horizonte infinito6 e de dimenso espao-temporal. Esta pesquisa, em
particular, se posiciona nesse contexto e se prope a definir um modelo de rede neural
auto-organizvel, temporal e construtivo voltado a aplicaes de robtica.
1.2
Motivao principal
O presente trabalho tem como foco principal aplicaes de robtica. Os problemas

encontrados na rea da robtica so, via de regra, bastante complexos, pois envolvem
grande dimensionalidade de dados e demandam processamento multisensorial em tempo
real. Os dados so espao-temporais e apresentam redundncia e perturbaes por rudo.
Alm disso, a interao com o meio ambiente pode levar a situaes nunca vistas e, portanto, necessrio constante aprendizado. Logo, para um sistema computacional lidar
com problemas dessa natureza, necessrio criar uma representao temporal ou causal
do ambiente e possuir um mecanismo de aprendizado no-supervisionado, construtivo e
em tempo real (do ingls on-the-fly learning).
Os algoritmos de aprendizado tradicionais para processamento temporal, tais como o
BPTT (do ingls Backpropagation Through Time) (WERBOS, ) e o RTRL (do ingls RealTime Recurrent Learning) (WILLIAMS; ZIPSER, 1989), so computacionalmente complexos e tm poder limitado para a memorizao de eventos, o que limita consideravelmente
a gama de problemas temporais que podem ser solucionados (HOCHREITER; SCHMIDHUBER, 1997). No entanto, as limitaes impostas por tais redes recorrentes podem ser
contornadas se os dados de entrada forem acompanhados de informao temporal til,
geralmente, na forma de memrias de curto prazo. Entende-se por til uma representao
que permita a generalizao de conceitos, possibilite a rpida adaptao a mudanas na
dinmica do sistema e seja econmica sob o ponto de vista computacional. Em geral, com
o emprego de uma memria de curto prazo, a tarefa de encontrar representaes internas
se torna mais simples e os problemas dinmicos tratveis podem ser mais complexos,
como os existentes na robtica.
Os algoritmos de aprendizado com topologia varivel, entre eles o CasCor (do in5
6
As redes neurais com estrutura dinmica so tambm chamadas de redes ontognicas (FIESLER, 1994).
Tarefas de horizonte infinito so tambm referenciadas como tarefas contnuas (SUTTON; BARTO, 1998).
22
gls Cascade-Correlation) (FAHLMAN; LEBIERE, 1990), as redes da famlia ART (do ingls Adaptive Resonance Theory) (CARPENTER; GROSSBERG, 2003) e o GNG (do ingls
Growing Neural Gas) (FRITZKE, 1995b), modificam a estrutura da rede neural durante o
processo de treinamento at que uma soluo de projeto adequada seja apresentada. Contudo, a maioria das redes construtivas no apropriada para lidar com sinais variantes no
tempo (i.e., sinais no-estacionrios) e nem com aplicaes que necessitam de aprendizado constante e em tempo real (e.g., tarefas de horizonte infinito). As principais causas
para essas duas dificuldades so a ausncia de uma memria de curto prazo e o modo de
insero de novos neurnios que, em geral, baseado em interaes mltiplas de uma
constante de tempo predefinida pelo projetista da rede.
De acordo com o exposto, at onde se sabe, no h na literatura especializada da rea
algoritmos de aprendizado de natureza auto-organizvel que integrem a representao
temporal e o aprendizado construtivo. Dessa forma, existe uma carncia muito grande por
uma fundamentao terica, uma arquitetura, uma metodologia de criao e ferramentas
que estejam definidas e difundidas no meio acadmico. Isso implica um amplo campo de
pesquisas a ser explorado e neste hiato identificado que este trabalho de pesquisa retira
a sua motivao principal e pretende se desenvolver.
1.3
Objetivo geral e objetivos especficos
O objetivo geral do presente trabalho projetar uma rede neural auto-organizvel,

temporal e construtiva que possa ser empregada na resoluo de determinados problemas
prticos de agentes de software inteligentes por exemplo, tarefas robticas de natureza
espao-temporal e de horizonte infinito. A rede denominada GTSOM (do acrnimo em
ingls para Growing Temporal Self-Organizing Map). A partir dessa meta inicial, a rede
neural a ser desenvolvida deve ser planejada para atender os seguintes requisitos:
seja de natureza no-supervisionada para ser utilizada em tarefas de tempo real;
adote uma representao implcita do tempo para processar informao temporal;
possua uma estrutura dinmica para variar no decorrer do tempo o nmero de neurnios e a quantidade de conexes sinpticas;
tenha somente parmetros constantes no tempo para funcionar em uma nica fase
de operao (i.e., sem distino entre treinamento e atuao);
seja parametrizvel para se adaptar s necessidades especficas de cada aplicao;
seja uma soluo econmica do ponto de vista computacional; e
permita ser incorporada arquitetura de controle (i.e., entidade cognitiva) de um
agente de software inteligente.
1.4
Posicionamento, justificativa e relevncia
Em muitos problemas prticos, como os existentes na robtica, a auto-organizao, a

representao temporal e o aprendizado construtivo so fatores importantes e, at mesmo,
imprescindveis para o sucesso da aplicao. A grande dificuldade reside em integrar tais
tecnologias em uma arquitetura de rede neural de maneira eficiente, tal que a resoluo
de determinadas tarefas contnuas de dimenso espao-temporal seja possvel e vivel.
23
Um sistema auto-organizvel aquele que tende a melhorar espontaneamente seu desempenho ao longo do tempo enquanto persegue os seus objetivos. Esta formulao inclui
o caso especial no qual o objetivo alcanar um alto grau de organizao (ordem) de entidades relevantes a partir de um baixo nvel de organizao (caos). Em particular, em
uma rede neural artificial, muitas interaes locais originalmente aleatrias entre neurnios vizinhos de uma rede podem se fundir em estados de ordem global e, em ltima
instncia, levar a um comportamento coerente na forma de padres espaciais ou ritmos
temporais (HAYKIN, 2001, p. 430). Dessa forma, a estabilidade de uma rede neural est
fortemente relacionada com o seu poder de auto-organizao.
A representao temporal deve ser uma propriedade das mais relevantes de um sistema
inteligente, seja ele biolgico ou artificial, haja vista que muitas das tarefas desempenhadas por seres humanos e animais abrangem tomadas de deciso e respostas comportamentais a estmulos espao-temporais por exemplo, a viso, a fala e o controle motor. Atualmente, j existem teorias bem-desenvolvidas para resolver problemas dinmicos quando
o sistema sob estudo ou o mecanismo fsico subjacente de interesse linear. No entanto,
quando o sistema ou o mecanismo fsico for no-linear, a tarefa se torna mais difcil.
nestas situaes que as redes neurais artificiais tm o potencial de fornecer uma soluo
vivel e econmica sob o ponto de vista computacional (HAYKIN, 2001, p. 710).
Em uma rede neural artificial, a representao do conhecimento definida pelos valores assumidos pelos seus parmetros livres (i.e., pesos sinpticos e bias) (HAYKIN, 2001,
p. 51). Portanto, o conhecimento adquirido pela rede limitado pelo nmero existente de
conexes sinpticas. No obstante, a maioria das redes neurais tem uma arquitetura especfica e esttica que, alm de limitar o conhecimento que pode ser adquirido, dificulta a
resoluo de determinadas tarefas. Isso se deve ao fato de que, redes com dimenso muito
reduzida podem no apresentar flexibilidade suficiente para tratar alguns problemas, enquanto redes sobre-dimensionadas geralmente apresentam pouca capacidade de generalizao. A utilizao de procedimentos de validao cruzada (HAYKIN, 2001, p. 239-244)
ou tcnicas de regularizao (GIROSI; JONES; POGGIO, 1995) diminuem os problemas em
relao ao sobre-treinamento da rede e conseqentemente amenizam os efeitos das redes sobredimensionadas, mas estas ainda continuam a exigir um esforo computacional
excessivo e desnecessrio. Logo, algoritmos capazes de determinar automaticamente a
arquitetura da rede neural so extremamente desejveis.
A construo automtica da arquitetura de uma rede neural retira o nus do projetista
em ter que especificar a priori a conectividade e a topologia da rede, torna possvel resolver tarefas que exijam aprendizado em tempo real e oferece uma boa soluo para o
dilema da estabilidade-plasticidade (HAYKIN, 2001, p. 30). Uma forma muito estudada
de determinao automtica da dimenso de uma rede neural so os chamados mtodos de
poda, cuja idia iniciar com uma arquitetura de dimenso elevada e ir retirando unidades ou conexes at que se chegue a uma dimenso adequada. No entanto, estes mtodos
sempre trabalham com um esforo computacional adicional, exceto no final do processo
de poda, e alm disso, se existir mais de uma arquitetura adequada para a soluo, a rede
sempre vai convergir para a de maior dimenso. Alternativamente, mtodos construtivos
so uma tima opo por comearem com uma arquitetura de rede de dimenso reduzida
e irem adicionando unidades intermedirias e/ou conexes at que uma soluo adequada
seja apresentada. Hoje em dia, a pesquisa cientfica se concentra no desenvolvimento de
tcnicas hbridas de crescimento e poda da rede neural.
O presente trabalho se torna relevante ao disseminar um referencial terico-prtico
no meio acadmico, contribuindo para a formao de pesquisadores nesse contexto trans-
24
disciplinar. Alm disso, e mais importante, este trabalho de cunho exploratrio e eminentemente prtico contribui ao propor um modelo neural baseado no trinmio autoorganizao, representao temporal e aprendizado construtivo.
1.5
Contribuies relevantes
Em particular, este trabalho traz os seguintes avanos e contribuies tcnicas para a

rea da Inteligncia Computacional7 (IC):
1. Reviso dos fundamentos torico-conceituais da rea das cincias cognitivas e sntese dos princpios de projeto para agentes de software inteligentes;
2. Reviso do estado da arte na utilizao de redes neurais artificiais no-supervisionadas no processamento de sinais temporais;
3. Reviso do estado da arte em tcnicas de aprendizagem construtivas para redes
neurais artificiais no-supervisionadas;
4. Implementao de uma ferramenta de simulao robtica para viabilizar a modelagem, o desenvolvimento e a simulao de agentes de software inteligentes que
estejam em conformidade com o trinmio autonomia, localidade e corporificao;
5. Proposio de um modelo de rede neural auto-organizvel, temporal e construtivo,
desenvolvido originariamente para tarefas robticas de natureza espao-temporal e
de horizonte infinito;
6. Aplicao do modelo neural sugerido em alguns problemas computacionais, tais
como classificao adaptativa de padres e segmentao de seqncias temporais.
importante ressaltar que apesar do modelo neural proposto no se enquadrar efetivamente na viso contempornea das cincias cognitivas, o modelo permite vislumbrar a
realizao de expanses qualitativamente interessantes no tocante integrao sensriomotora, assim como ser melhor discutido no captulo de concluses e trabalhos futuros.
1.6
Estrutura da dissertao
Este captulo teve o objetivo de introduzir o leitor no contexto dos temas abordados
nesta dissertao atravs da exposio das motivaes, objetivos, justificativa e contribuies relevantes. O restante deste trabalho encontra-se organizado da seguinte forma:
Captulo 2: Fundamentos de Cincias Cognitivas.
Este captulo descreve os fundamentos terico-conceituais da rea das cincias cognitivas, bem como introduz os princpios de projeto de agentes de software. A discusso conduzida em duas direes distintas, conforme os princpios, modelos e
mtodos de investigao de cada uma das vertentes das cincias da cognio.
7
A Inteligncia Computacional (IC) rene uma srie de abordagens e tcnicas que tenta modelar a
inteligncia atravs da representao numrica, contnua do conhecimento (ENGEL, 2005).
25
Captulo 3: Fundamentos de Redes Neurais Artificiais.

Este captulo apresenta uma breve reviso dos principais fundamentos de redes neurais artificiais, definindo uma terminologia coerente para o restante do volume.
Nesse sentido, so descritos os componentes bsicos de um neurnio artificial e
de uma rede neural de mltiplos neurnios, com destaque para a rede neural autoorganizvel baseada em grades sugerida por Teuvo Kohonen.
Captulo 4: Trabalhos Correlatos.
Este captulo apresenta uma viso abrangente das pesquisas relacionadas ao tema
desta dissertao. Inicialmente, trabalhos que tratam da questo temporal em redes
neurais auto-organizveis so discutidos. Em seguida, trabalhos que lidam com a
dimenso construtiva em redes neurais auto-organizveis so descritos.
Captulo 5: Proposta de Rede Neural Artificial.
Este captulo detalha a proposta de rede neural auto-organizvel, temporal e construtiva. Inicialmente, d-se uma viso geral da estrutura da rede que est sendo
sugerida. Em seguida, discorre-se sobre o seu funcionamento, com especial nfase
nos processos de incluso, remoo e adaptao de neurnios e conexes sinpticas.
Por fim, apresentam-se as principais propriedades da rede, realiza-se uma anlise
sobre seus parmetros e argumenta-se sobre sua plausibilidade biolgica.
Captulo 6: Resultados Experimentais.
Este captulo relata os resultados de diferentes experimentos preliminares de avaliao aplicados rede neural proposta, considerando tarefas simples de classificao
de padres e segmentao de seqncias temporais. Para fins de validao da rede
neural proposta, tambm so apresentadas comparaes qualitativas e quantitativas
com outros trabalhos similares.
Captulo 7: Concluses e Trabalhos Futuros.
Este captulo relata as concluses gerais e consideraes finais do trabalho, apresenta as limitaes verificadas do modelo neural proposto e discute possveis desdobramentos e direes para o encaminhamento de pesquisas futuras.
Apndice A: Ferramenta de Simulao Robtica.
Este apndice apresenta a ferramenta de simulao robtica desenvolvida durante
a elaborao desta dissertao. A ferramenta de simulao robtica proporciona
uma plataforma simples, flexvel e de fcil uso para modelagem, prototipao e
simulao de agentes de software situados e corporificados.
26
FUNDAMENTOS DE CINCIAS COGNITIVAS
Este captulo tem como objetivo contextualizar a rea das cincias cognitivas, apresentando os fundamentos terico-conceituais e os princpios de projeto de agentes de
software de cada uma das vertentes das cincias cognitivas. No se pretende exaurir este
tema, mas apenas incitar uma reflexo e apresentar algumas idias que sero teis ao desenvolvimento deste trabalho. Alguns livros-texto interessantes que abordam o assunto
de forma terica so (DUPUY, 1996) e (SANTOS, 2003). De maneira mais prtica, Pfeifer
e Scheier (2001) guiam o desenvolvimento de sistemas inteligentes.
2.1
Introduo
Nos primrdios da vida na Terra, toda a informao usada para resolver problemas
dos seres primitivos estava armazenada no DNA (acrnimo de cido desoxirribonuclico).
Com o aparecimento do sistema nervoso, e do crebro em especial, a memria dos eventos
ocorridos durante a existncia de um organismo passou a ser utilizada como base de
conhecimento para solucionar novos problemas. Nesse momento, houve um tremendo
salto evolutivo, pois o comportamento de um organismo poderia ser modificado durante a
sua vida sem alterao de seu cdigo gentico. Dessa forma, os seres vivos que possuam
crebro tinham uma ferramenta que incrementava e adaptava o seu conhecimento e seu
comportamento de uma forma muito mais dinmica (FLORES; SCHLER, ).
Desde ento, um conjunto de esforos interdisciplinares para melhor compreender o
funcionamento do sistema nervoso vem sendo realizado por especialistas de diferentes
reas das cincias da cognio (CONNORS; BEAR; PARADISO, 2002). Por exemplo, os psiclogos encaram o sistema nervoso como um objeto desconhecido mas capaz de produzir
comportamento e conscincia, e assim dedicam-se ao estudo de suas propriedades. J os
neurobilogos celulares o vem como um conjunto de clulas que se tocam atravs de
finos prolongamentos, formando trilhes de complexos circuitos intercomunicantes. Por
outro lado, eletrofisiologistas estudam apenas os sinais eltricos produzidos pelas clulas nervosas. Alternativamente, neuroqumicos se concentram nas reaes qumicas que
ocorrem entre as molculas existentes dentro e fora das clulas nervosas. Na viso dos
computlogos, o sistema nervoso concebido como uma fonte inesgotvel de inspirao
para a soluo dos mais variados problemas, e assim do nfase ao estudo dos princpios
e mecanismos que o regem para aplic-los construo de sistemas computacionais.
Logo, as cincias cognitivas constituem em um amplo programa de pesquisa que tem
por objeto a inteligncia, desde sua estrutura formal at seu substrato biolgico. A disciplina tem sua origem, possivelmente, no movimento ciberntico ocorrido por volta de
1950, em uma tentativa de edificar uma cincia geral sobre o funcionamento da mente. As
cincias cognitivas so caracterizadas por uma variedade de abordagens tericas, mode-
27
los e mtodos de investigao. Na literatura, comumente agrupa-se este arsenal tericoconceitual em abordagens tradicionais e abordagens contemporneas, de acordo com
seus princpios objetivistas e no objetivistas, respectivamente. A Tabela 2.1 apresenta
de forma esquemtica um paralelo entre estas duas abordagens.
Tabela 2.1: Abordagens cognitivas para o estudo da inteligncia
Classe
Paradigma
Descrio
Tradicional
(objetividade)
Objetivismo
Baseado na estrutura funcional do modelo

formal da mquina de Turing"
Baseado na estrutura funcional do modelo
neural de McCulloch-Pitts
Co-dependncia entre a percepo e a
ao. Atribui um papel ativo para a ao
Determina dois domnios fenomnicos da
existncia de seres vivos (estrutura e interaes)
Define a cognio como uma ao incorporada, dando nfase inseparabilidade dos
processos sensoriais e motores
Estabelece que a cognio seja paulatinamente construda na interao do sujeito
com o meio, conforme um equilbrio entre
processos de assimilaes e acomodaes
Explica a cognio atravs de um modelo
selecionista sobre a organizao, o desenvolvimento e o funcionamento do crebro
Conexionismo
Contempornea
(no-objetividade)
Teoria Ecolgica
Teoria da Autopoiese
Teoria da Enao
Teoria Psicolgica Construtivista
Teoria da Seleo de Grupos Neurais
2.2
Abordagens tradicionais das cincias cognitivas
As abordagens baseadas nos princpios da objetividade, referidas doravante como tradicionais, representam o paradigma dominante das cincias cognitivas e se enquadram
basicamente em dois programas de pesquisa: o cognitivismo e o conexionismo.
Em sntese, tanto a abordagem cognitivista quanto a conexionista se apiam na viso
de um mundo existente, com caractersticas determinadas e independentes do observador.
O observador tem um papel completamente passivo no processo de perceber o mundo
ao seu redor e, portanto, o saber e conhecer humanos so vistos como representaes
ou modelos internos da realidade externa. Como conseqncia, ambos os paradigmas
caminham em direo ao representacionismo do mundo externo e ao processamento de
estmulos do ambiente, seja na forma simblica quanto sub-simblica.
2.2.1
Cognitivismo
O cognitivismo tem sua origem na estrutura funcional do consagrado modelo da mquina de Turing (1936). Por isto, o conhecimento representado por um conjunto de smbolos e regras que tm uma correspondncia direta e explcita com os objetos do mundo
real. A cognio ou aprendizagem a manipulao dos smbolos conforme suas propriedades, relacionamentos e regras aplicveis. O comportamento inteligente obtido atravs
de processos que manipulam satisfatoriamente os smbolos e as regras.
28
2.2.2
Conexionismo
O conexionismo est apoiado sobre o modelo neural de McCulloch-Pitts (1943). Neste

caso, o conhecimento representado de forma sub-simblica por um conjunto de pesos
sinpticos entre unidades funcionais concebidas em analogia aos neurnios naturais. A
cognio ou aprendizagem consiste na modificao coerente destes pesos sinpticos. O
comportamento inteligente a resposta satisfatria a um estmulo externo, obtido atravs
de um comportamento emergente da rede neural artificial.
2.2.3
Projeto de agentes de software tradicionais
No mbito da Inteligncia Artificial, um agente de software cognitivista ou conexionista visto como um sistema seqencial composto por entrada, processamento e sada
(vide Figura 2.1). Inicialmente, dados oriundos do ambiente so obtidos atravs de sensores e, em um processo compreendido como a percepo, mapeados para representaes
internas. Em um segundo momento, h um processamento central efetuado sobre esta representao, que pode ser realizado de inmeras formas e compreender inmeras etapas.
Por fim, o sistema gera uma resposta ao ambiente por intermdio de efetuadores.
Agente tradicional
Entrada
Sensores
Processamento
central
Sada
Efetuadores
Figura 2.1: A viso tradicional do processamento de informao

A diviso do processamento nestas trs fases implica a compreenso da percepo
como um processo separado e anterior ao, na suposio da cognio como central
e distinta dos processos sensrio-motores, e na ao como um processo passivo e dependente dos demais. Deste modo, h um fluxo de informao" unidirecional indo da
percepo, passando pela cognio e, finalmente, pela ao (PFEIFER; SCHEIER, 1994).
Em virtude do representacionismo e da separao em sentir-pensar-agir das abordagens clssicas das cincias da cognio, inmeros problemas fundamentais so inseridos
na modelagem de agentes de software, entre eles:
como estabelecer as representaes internas a partir de dados sensoriais e mant-las
em sintonia com um mundo externo que est continuamente em mudana. Esse problema foi originalmente descrito por McCarthy e Hayes em 1969 e referenciado
como o problema do enquadramento (do ingls the frame problem);
como relacionar os smbolos com os objetos do mundo real, j que grande parte
do conhecimento necessrio tcito e, portanto, no explicitvel e nem tampouco
redutvel a seqncia de fatos e regras. Esse problema foi primeiramente discutido
por Steven Harnad em 1990 e conhecido como o problema da fundamentao do
smbolo (do ingls the symbol-grounding problem);
como interagir com um mundo externo em tempo real, uma vez que isto dificilmente alcanado postulando a existncia de um mdulo centralizador; e
29
como categorizar os objetos presentes no meio, haja vista que um objeto pode conduzir a inmeros padres de entrada diferentes dependendo do ngulo de viso
relativo ao objeto, de condies de luminosidade do ambiente, de rudo associado a
sensores e efetuadores, e assim por diante. Esse problema j foi estudado por diversos pesquisadores (e.g., Rodney Brooks) e denotado por problema da localidade
e da corporificao (do ingls the embodiment and situatedness problem).
A inquietude demonstrada por parte da comunidade cientfica com relao s questes
levantadas propiciou o surgimento de abordagens alternativas para a compreenso da cognio e, conseqentemente, da percepo e da ao (PFEIFER; SCHEIER, 1994; MLLER,
1999; HURLEY, 2001). A prxima seo discorre sobre cada uma destas abordagens.
2.3
Abordagens contemporneas das cincias cognitivas
As abordagens baseadas nos princpios da no-objetividade, doravante referidas como

contemporneas, no representam o mundo em que habitam mas o criam dinamicamente
a partir da interao com ele. Por isto, tambm so caracterizadas como abordagens
holsticas, ecolgicas, situacionistas ou no-representacionistas. Dentre as abordagens
contemporneas proeminentes, as principais so apresentadas nas subsees seguintes.
Apesar das particularidades inerentes a cada abordagem contempornea, todas compartilham bases ontolgicas1 e princpios epistemolgicos2 semelhantes. A cognio concebida em uma circularidade de processos sensoriais e motores, e a percepo e a ao
constituem processos simultneos e inseparveis.
2.3.1
Teoria Ecolgica
A Teoria Ecolgica, elaborada por James Gibson em 1979, estabelece um marco dentro da histria evolutiva das pesquisas cientficas a respeito da cognio. Em primeiro
lugar, porque pioneiramente enfatiza a co-dependncia entre a percepo e a ao. Em
segundo lugar, porque atribui um papel ativo para a ao. Na concepo de Gibson, a
percepo no vista como um estado mental isolado do mundo fsico, pelo contrrio, o
significado da percepo encontra-se na interao contnua entre sujeito e ambiente.
De acordo com Gibson, muitas questes sobre como a informao visual construda internamente pelo sujeito poderiam ser substitudas por questes que tratam das
fontes de informao no ambiente, determinantes para o comportamento do sujeito. O
conceito de informao reconcilia dois aspectos da relao sujeito-ambiente: os inseparveis conceitos de invariantes e affordances. A noo de invariantes baseada na idia de
que padres de energia que estimulam os sentidos contm informaes que especificam
o meio ambiente. O conceito de affordances faz referncia ao sujeito, expressando as
possibilidades de ao oferecidas pelo meio ambiente. Para maiores informaes sobre a
Teoria Ecolgica de Gibson, consulte (OLIVEIRA, 2005).
2.3.2
Teoria da Autopoiese
A Teoria da Autopoiese de Maturana Romecin e Varela (1997, 2001), referenciada

mais recentemente por Biologia do Conhecer, define o sujeito sob o ponto de vista biolgico, destacando o domnio de sua dinmica estrutural interna e o domnio de suas
1
2
Ontologia o ramo da filosofia referente natureza do ser.

Epistemologia o ramo da filosofia que procura explicar o fenmeno do conhecer.
30
relaes e interaes como totalidade. O sujeito visto como um sistema dinmico determinado estruturalmente. Na interao contnua com o ambiente, so modificadas as
suas estruturas internas a fim de se manter em congruncia circunstancial com o meio. E
justamente a conservao dessa congruncia que sustenta a existncia do ser.
Maturana Romecin e Mpodozis (1997) analisaram um experimento descrito por Roger
Sperry a respeito da rotao dos olhos de anfbios. Nesse experimento foi demonstrado
que os animais recuperam a viso mas, no entanto, apresentam um variao na conduta de captura de presas com um desvio de ngulo igual ao do giro efetuado nos olhos.
Com base nisso, os autores argumentaram a respeito do fenmeno da percepo, pois ao
modificar a estrutura do organismo altera-se, por conseguinte, a sua percepo.
2.3.3
Teoria da Enao
A Teoria da Enao, desenvolvida por Varela, Thompson e Rosch (2003), entende

a cognio como uma ao incorporada. O termo incorporada pretende enfatizar dois
aspectos principais: a dependncia intrnseca da cognio e dos tipos de experincias
possibilitadas pelas inmeras capacidades sensrio-motoras que surgem devido ao fato
de se ter um corpo; e o contexto biolgico, psicolgico e cultural nos quais tais capacidades sensrio-motoras encontram-se embutidas. J o emprego do termo ao d nfase
inseparabilidade dos processos sensoriais e motores a percepo e a ao na cognio.
Em sntese, Varela, Thompson e Rosch (2003) resumem a sua teoria nos seguintes
termos: (1) a percepo consiste em ao perceptivamente orientada e (2) as estruturas
cognitivas emergem de padres sensrio-motores recorrentes que, por sua vez, possibilitam a ao ser perceptivamente orientada.
2.3.4
Teoria Psicolgica Construtivista
A Teoria Psicolgica Construtivista, proposta por Piaget (1979), define o conhecimento como fruto de aes mtuas indissociveis entre sujeito e meio. Nesta concepo,
no h nfase nas experincias adquiridas (empirismo) e nem na bagagem hereditria
(inatismo), mas sim na relao e interao entre esses dois elementos.
O desenvolvimento do conhecimento construtivista de Piaget tem base nos mecanismos conhecidos como assimilao e acomodao. A assimilao constitui em uma tentativa de integrar as novas experincias do sujeito em suas estruturas cognitivas previamente
construdas. J a acomodao consiste na modificao progressiva de suas estruturas cognitivas, uma vez que a organizao do sujeito no capaz de lidar com uma determinada
situao que o meio impe. Portanto, o sujeito est a todo instante realizando assimilaes" e acomodaes", na busca por um equilbrio cognitivo.
Esta concepo construtivista da inteligncia foi reconhecidamente trazida ao campo
cientfico da Inteligncia Artificial no trabalho de Drescher (DRESCHER, 1991). A IA
Construtivista, como denominada na literatura, constitui em um ramo alternativo dentro
da IA Simblica, e, em linhas gerais, engloba todo os trabalhos desta cincia que fazem
referncia Teoria Psicolgica Construtivista. Recentemente, vrios esforos foram realizados na concepo de agentes de software segundo este paradigma, como, por exemplo,
em Wazlawick (1993), Muoz (1999) e Perotto (2004).
2.3.5
Teoria da Seleo de Grupos Neurais
Nas ltimas dcadas, experincias cientficas em seres humanos e animais identificaram certas reas do sistema nervoso que so especializadas em determinas funes
31
mentais (LENT, 2002, p .24). Mais especificamente, as pesquisas realizadas por Gerald
Edelman demonstraram que a cognio resultado da atividade coordenada de grupos
neurais dispostos em diferentes regies cerebrais (EDELMAN, 1987, 1989, 1995, 2004).
Foram descobertos grupos neurais sensveis a cores, ao movimento de estmulos luminosos, tons sonoros, cheiros, ritmos respiratrios e uma lista inumervel de funes.
Edelman engajou-se na pesquisa da estrutura e da funo cerebral, propondo em 1978
uma teoria cientfica do crebro (EDELMAN, 1978). Esta teoria, denominada Teoria da
Seleo de Grupos Neurais (ou, abreviadamente, Darwinismo Neural), um modelo selecionista sobre a organizao, o desenvolvimento e o funcionamento do crebro. A idia
que o crebro classifica, categoriza e adapta-se ao mundo atravs de um processo de seleo entre grupos neurais. Este processo anlogo quele que opera na seleo natural
de seres vivos, mas seu substrato e mecanismo so evidentemente diferentes.
Um grupo neural compreende uma coleo de neurnios intimamente ligados, da
ordem de centenas a milhares, os quais disparam concomitantemente a determinados estmulos. De modo geral, as conexes sinpticas entre os neurnios de um grupo neural so
constitudas filogeneticamente, ou seja, so herdadas geneticamente (transgeracionais).
H, contudo, um processo de seleo darwiniana que d o ajuste fino (microscpico) por
meio da eliminao de neurnios e sinapses. Isto assegura uma variabilidade ontogentica
necessria para lidar com a imprevisibilidade do ambiente.
O sistema nervoso possui bilhes de grupos neurais, cada qual com sua pequenssima
especialidade. Por exemplo, um grupo neural para realizar movimentos com o brao para
a esquerda, outro para a direita, um para reconhecer objetos da cor vermelha, outro para
reconhecer formas triangulares, e assim por diante. Reeke e Edelman (1984, p .186) sugerem que exista um equilbrio adequado entre a especificidade e generalidade na funo de
um grupo neural, de modo que variados grupos neurais possam responder razoavelmente
bem a qualquer estmulo. Esse fenmeno, denominado degenerao, assegura que todo e
qualquer estmulo necessariamente reconhecido por pelo menos um grupo neural.
Existe um nmero macio de circuitos fechados entre os neurnios de cada grupo neural. Por essa razo, o estado de um neurnio dependente do estado de todos os demais
neurnios com os quais est conectado, direta ou indiretamente. Devido a essa dependncia circular entre os neurnios, o comportamento de um grupo neural altamente nolinear. Atravs das experincias vividas por cada ser vivo, os grupos neurais so seletivamente fortalecidos ou enfraquecidos, de acordo com a quantidade de estmulos recebidos
ou, mais simplesmente, conforme o seu uso. Este processo modulado pela atribuio, de
diferentes valores3 , aos estmulos recebidos. medida que o crebro se desenvolve, ele
abandona certos circuitos inteis em proveito de conexes repetidas com sucesso, curtidas
e recurtidas por uma aprendizagem bem sucedida e recompensada (EDELMAN, 1995).
Os grupos neurais competem uns com os outros, a fim de serem selecionados e se
tornarem parte integrante de um circuito funcional. Atravs da amplificao seletiva,
uma variedade de circuitos funcionais so epigeneticamente" esculpidos, isto , atravs
da combinao de influncias genticas e ambientais, o que acaba por originar mapas
neurais locais. Um mapa neural pode ser definido como um conjunto interconectado
de grupos neurais com funcionalidades semelhantes. O sistema nervoso possui inmeros
mapas neurais, cada qual com uma determinada especialidade e localizao. Por exemplo,
um mapa neural da viso especfico para reconhecer cores4 , que composto por trs
3
Para maiores detalhes sobre os sistemas de valores presentes nos seres vivos, consulte a Seo 2.3.6.5.
O termo reconhecer cores" conota que a ativao de um determinado grupo neural proporciona, no
observador, uma sensao que ele descreve, por exemplo, como azul. Dessa maneira, a cor no uma carac4
32
grupos neurais, cujas funcionalidades so reconhecer a cor vermelha, a verde e a azul,

respectivamente. Cabe salientar que a maioria das conexes sinpticas entre os grupos
neurais constituda ontogeneticamente, ou seja, mediante aprendizagem.
Existe tambm certa circularidade das conexes entre os grupos neurais. Assim, a
freqncia de oscilao de cada grupo neural depende das conexes recebidas dos outros
grupos do mesmo mapa. Essa propriedade implica uma no-linearidade no comportamento dos mapas neurais, da mesma natureza que a no-linearidade presente no comportamento dos grupos neurais, todavia, em certo sentido, em um nvel acima.
Os diversos mapas neurais que vo surgindo tambm podem estar conectados entre
si por intermdio de ligaes maciamente paralelas e recprocas. Este processo de estabelecer conexes sinpticas entre mapas funcionalmente diferentes origina os mapas
globais. Por exemplo, um mapa global composto por dois mapas neurais, cujas funes
so reconhecer as cores (vermelha, verde, azul, etc.) e as formas (triangular, retangular,
circular, etc.) de objetos. Dessa forma, um ser vivo capaz de perceber", por exemplo,
um objeto azul de forma triangular. Por meio das conexes reentrantes, os mapas coordenam entre si o aparecimento de importantes funes comportamentais, como memrias
especializadas e capacidades conceituais.
Devido reentrncia das conexes entre os mapas neurais, h uma co-dependncia entre seus estados, isto , um mapa depende do estado do mapa com o qual est conectado e
vice-versa. V-se aqui, novamente, a presena da no-linearidade no comportamento do
mapa global, porm em um nvel mais alto que no mapa local. Resumindo, os mapas globais so constitudos pelas conexes sinpticas reentrantes entre neurnios pertencentes a
mltiplos mapas locais e representam" uma experincia como um todo ao correlacionar
categorizaes especficas.
Como foi descrito anteriormente, os grupos neurais correlacionam os neurnios que
os compem, os mapas neurais correlacionam os grupos neurais que os compem, e finalmente, os mapas globais correlacionam os mapas neurais que os compem. Isto ocorre
pois no sistema nervoso existem apenas" neurnios que se correlacionam entre si, formando circuitos entre diferentes regies cerebrais. Em outras palavras, os grupos neurais,
mapas locais e mapas globais so apenas abstraes feitas na linguagem por um observador de regies funcionais do sistema nervoso. Pode-se notar que uma mudana de estado
de um neurnio sensitivo, por exemplo, pode disparar, ao mesmo tempo, mudanas na
ativaes dos grupos neurais, mapas neurais e mapas globais que os compem. por este
motivo que o que sentido, percebido e feito surge simultaneamente. Pode-se dizer ento
que, no sistema nervoso, a percepo surge no mesmo instante da ao.
Nos ltimos anos, uma srie de esforos foram realizados para estender a Teoria da
Seleo de Grupos Neurais conscincia (EDELMAN, 1989, 1995, 2004; SETH; BAARS,
2005). De acordo com Gerald Edelman, as funes cerebrais superiores so constitudas
por uma trade bsica composta da percepo, da memria e da aprendizagem, concebidas atravs da noo de categorizao. Gerald Edelman consolidou a sua teoria com
simulaes computacionais que mostram a verossimilhana de sua conjetura inicial. Para
uma descrio pormenorizada e em seqencia cronolgica de todas as simulaes computacionais desenvolvidas por Gerald Edelman, consulte Bastos (2005, p. 2139).
terstica intrnseca do objeto, mas sim uma descrio da interao entre o observador e o objeto observado.
33
2.3.6
Projeto de agentes de software contemporneos
No mbito da Inteligncia Artificial, um agente de software contemporneo visto

como um sistema dinmico, onde a percepo e a ao constituem processos simultneos
e inseparveis (vide Figura 2.2). Existe, ento, uma substituio da metfora do processamento de informao, advinda do paradigma tradicional das cincias cognitivas, pela
metfora da integrao sensrio-motora.
Agente contemporneo
Entrada
Sensores
Interpretao
Sensrio-motora
Sada
Efetuadores
Figura 2.2: A viso contempornea do processamento de informao

A seguir so descritos os princpios de projeto empregados na construo de agentes
de software contemporneos. Cabe salientar que ainda no existe nenhum agente que implemente todos estes princpios (FLORIAN, 2003). No entanto, estes princpios sumarizam
e tornam explcitos os conhecimentos adquiridos na rea at o presente momento. Esse
novo ramo de pesquisa dentro da Inteligncia Artificial tem sido apresentado sob diversas
denominaes, dentre elas: New Artificial Intelligence, Nouvelle Artificial Intelligence,
Situated Activity, Situated Cognition, Embodied Cognition, e Behavior-Based Robotics.
Para maiores detalhes, consulte (CLANCEY, 1997; LUNGARELLA; PFEIFER; SANDINI, 2003;
PFEIFER; IIDA; BONGARD, ; KRICHMAR; EDELMAN, 2006).
2.3.6.1
Princpio de um agente absoluto
De acordo com Pfeifer e Scheier (2001, p. 304-306), o projeto de um agente de software sempre envolve a definio de trs componentes que so rigorosamente interconectados e mutuamente interdependentes:
1. Fixao de um nicho ecolgico onde o agente ir atuar. A natureza de ambientes
que um agente pode habitar varia significativamente. Nenhum agente pode adaptarse, fisicamente e cognitivamente, para lidar com todas as variaes possveis.
2. Estabelecimento de comportamentos desejados ou tarefas a serem cumpridas;
3. Determinao do agente propriamente dito. A concretizao de um agente deve priorizar trs aspectos principais: autonomia, localidade e corporificao. Apesar de
certa objeo por alguns pesquisadores da rea, existe consenso da maioria de que a
corporificao no necessariamente dada pela materialidade, como a apresentada
em animais ou robs fsicos, mas por uma relao dinmica com o ambiente (FLORIAN, 2003). Assim, a pesquisa em inteligncia artificial pode ser realizada com
ambientes de simulao genuinamente computacionais5 .
5
O Apndice A apresenta o ambiente de simulao robtica desenvolvido no mbito deste trabalho.
34
2.3.6.2
Princpio da redundncia, do equilbrio ecolgico e do projeto econmico
Um dos modelos mais adequados sobre a evoluo da inteligncia animal foi desenvolvido por Daniel Dennett (1996). Segundo ele, quanto mais precisa for a informao e
quanto maior for a regio de onde uma criatura coleta informao, mais provvel ser o
seu sucesso. No incio da evoluo das espcies, apareceu o olfato que uma forma de
obter informao do ambiente prximo. Posteriormente, surgiram a audio e a viso permitindo a aquisio de informao de alta qualidade a distncias maiores. A percepo de
eventos a grande distncia no espao contribui, eventualmente, para a predio de eventos
a grandes distncias no tempo. Por exemplo, a viso permite presa antever o ataque de
um predador. Dennett (1996) classificou os seres vivos, de acordo com os seus processos de manipulao da informao, na seguinte hierarquia de complexidade: darwiniana,
skinneriana, popperiana e gregoriana. Recentemente, Joo Paulo Schler (2002) realizou
uma recontextualizao do domnio das criaturas de Dennett para o domnio de software.
No entanto, conforme as abordagens contemporneas da cognio, no basta um
agente de software possuir variados mecanismos de obteno de informao, necessrio incorporar redundncia nos dispositivos sensoriais. Em outras palavras, os sensores
devem estar posicionados no agente de tal forma que exista sobreposio espacial nas
informaes adquiridas. A redundncia promove correlaes e associaes entre as informaes obtidas por diferentes modalidades sensitivas. Estas correlaes ajudam o agente
a reduzir drasticamente a incerteza do ambiente e a predizer eventos (PFEIFER; SCHEIER,
2001, p. 446455). Os sistemas visual e ttil, por exemplo, fornecem informao espacial do ambiente, apesar de se basearem em diferentes processos fsicos. Duplicar meramente os componentes sensoriais no conduz a uma redundncia til, pois mesmo que
um agente possua dez cmeras de vdeo de alta definio no conseguir operar em um
ambiente completamente escuro, diferentemente de um agente que tenha um sistema ttil
em adio a um sistema visual. Alm da redundncia, deve existir um equilbrio da complexidade do agente (sistemas sensrio, motor e de controle) com a complexidade de seu
ambiente de tarefa. Um sistema de controle extremamente complexo desnecessrio se o
agente ou o ambiente so extremamente simples (PFEIFER; SCHEIER, 2001, p. 455463).
Um agente com um sistema de controle demasiadamente elaborado, via de regra, tem problemas no aprendizado em decorrncia do excesso de ajustes do modelo. Por outro lado,
um agente com um sistema de controle muito simples pode ter dificuldades em adaptarse s circunstncias ambientais. Em suma, a fsica da interao agente-ambiente e as
restries impostas pelo nicho ecolgico devem ser exploradas (PFEIFER; SCHEIER, 2001,
p. 435445), tornando econmico o projeto do agente sob o ponto de vista computacional.
2.3.6.3
Princpio de processos paralelos fracamente acoplados
Agentes de software devem possuir diversos comportamentos a fim de cumprirem

determinadas tarefas. Alguns comportamentos so compatveis, entretanto, outros so
mutuamente exclusivos. Por isso, uma deciso deve ser tomada para selecionar, a cada
momento, aquelas aes que so coerentes com o contexto atual do agente e do ambiente.
A soluo mais direta assumir que existe um mdulo ou representao interna para
cada categoria do comportamento observado. Por exemplo, postular a existncia de um
mdulo interno de seguir paredes quando se observa um rato andando rente a paredes.
A maioria das abordagens computacionais prope o uso de arquiteturas hierrquicas para
realizar uma decomposio funcional (e.g., Newell e Simon, 1963; Fikes and Nilsson,
1971). A idia que uma funcionalidade global (e.g., seguir paredes) decomposta
35
em subfuncionalidades diferentes que, por sua vez, podem ser segregadas novamente em
mdulos e submdulos (e.g., deteco de parede, mover-se rente a uma parede). A noo
de hierarquias implica um processo centralizado e seqencial e, portanto, no tolerante
a falhas: quando um mdulo removido ou deixa de funcionar, a operao do sistema
como um todo fica afetada. Isso no reflete o que realmente ocorre em sistemas naturais,
alm de gerar inmeros problemas de projeto (PFEIFER; SCHEIER, 2001).
Um mecanismo que vem despontando como uma nova opo para essa problemtica assumir um nmero elevado de processos heterogneos, paralelos e fracamente
acoplados que so conectados ao aparato sensrio-motor do agente (PFEIFER; SCHEIER,
2001, p. 327376). Estes processos no necessitam de um supervisor; ou seja, o controle
descentralizado e distribudo. A arquitetura de controle pode ser construda de forma
gradual, com a adio de novos processos, assim como acontece na evoluo biolgica.
Alm disso, a unio de todos os processos promove a emergncia de novos comportamentos, os quais no foram previstos no projeto. Por exemplo, o ato de seguir paredes
compreendido como a unio de processos bsicos que, juntos, na interao com o meio
ambiente, produzem o comportamento desejado.
A arquitetura de subsuno foi originalmente proposta por Rodney Brooks (1986).
Nessa arquitetura, os comportamentos so organizados em nveis de acordo com uma
hierarquia de subordinao. Os nveis inferiores so prioritrios em relao aos comportamentos dos nveis superiores, dado que as aes de nveis mais altos representam
comportamentos mais abstratos e elaborados. Como vrios comportamentos podem ser
acionados em paralelo, um mecanismo de controle seleciona, entre os diferentes comportamentos possveis, aquele que considerado timo em cada momento. Um nmero
considervel de robs foi construdo utilizando variaes desta arquitetura, dentre eles:
Myrmix, Ghengis, Herbert e Hannibal (PFEIFER; SCHEIER, 2001, p. 199225).
Dimitrios Lambrinos e Christian Scheier (1995) desenvolveram uma arquitetura inspirada nos veculos de Braitenberg. O esquema bsico desta arquitetura consiste em associar diretamente os sensores do agente com processos internos (e.g., andar-para-frente).
Esta associao pode ser ponderada por algum valor, a fim de realizar uma modulao da
importncia de um sensor sobre um determinado processo. Os processos internos, por sua
vez, podem estar conectados a outros processos internos bem como a processos motores
(e.g., motor-esquerdo, motor-direito). O comportamento a ser executado pelo agente
simplesmente obtido pelo somatrio linear da sada dos processos motores.
2.3.6.4
Princpio da coordenao sensrio-motora
Nesta ltima dcada, o estudo da integrao sensrio-motora tem sido um tpico de

pesquisa bastante ativo na rea das cincias cognitivas (PFEIFER; SCHEIER, 2001, p. 377
434). Existe consenso entre os pesquisadores da rea que, em organismos biolgicos, as
informaes oriundas de mltiplos sentidos (viso, audio, tato, etc.) so integradas e,
diretamente, mapeadas sobre um conjunto apropriado de comandos motores (msculos e
glndulas). Este processo sensrio-motor, quando aplicado a agentes de software, conduz a inmeros benefcios e simplificaes de projeto, conforme descrito em (PFEIFER;
SCHEIER, 1994, 1997; NOLFI; PARISI, 1999; NOLFI, 2002).
Pfeifer e Scheier (1997) demonstraram que, atravs da coordenao sensrio-motora,
agentes de software podem estruturar suas percepes e, por meio disto, induzir regularidades que significativamente simplificam a aprendizagem. Dados sensoriais no so
apenas adquiridos mas, sobretudo, gerados e correlacionados. A correlao reduz a alta
dimensionalidade presente nos dados obtidos do ambiente que, por sua vez, capacita o
36
agente a fazer associaes entre diferentes modalidades sensitivas (BOEKHORST; LUNGARELLA; PFEIFER, 2003). A coordenao sensrio-motora possibilita, ainda, resolver um
dos maiores desafios dos roboticistas: a categorizao de objetos fsicos (SCHEIER; PFEIFER, 1995; SCHEIER; LAMBRINOS, 1996; LAMBRINOS; SCHEIER, 1996).
Qualquer agente de software deve ser capaz de realizar distines entre diferentes tipos de objetos; ou seja, deve ter a competncia de categorizar os objetos fsicos presentes
no meio. Realizar distines um processo bastante rotineiro e natural para todos os seres
vivos. Contudo, ainda constitui em uma rdua tarefa para os robs. Uma das principais
razes para essa problemtica que um objeto pode conduzir a inmeros padres diferentes e ambguos, dependendo do ngulo de viso do agente, de condies de luminosidade
do ambiente, de rudo associado a sensores e efetuadores, e assim por diante.
Tradicionalmente, o problema do reconhecimento de objetos tem sido investigado
pelo emprego de modelos clssicos da Inteligncia Artificial, onde a categorizao definida em termos de um mapeamento de estmulos sensoriais em representaes internas
(e.g., Kruschke, Jan. 1992). Em muitas arquiteturas de redes neurais artificiais empregase uma camada de entrada, para codificar as caractersticas dos objetos, e uma camada de
sada, que representa as categorias propriamente ditas. Tipicamente, atravs de mtodos
de aprendizagem supervisionada, o objetivo aprender uma associao entre ativaes na
camada de entrada e ativaes correspondentes na camada de sada.
Clark e Thornton (1997) introduziram o conceito de problemas do tipo 2 para denotar
conjuntos de dados para os quais o mapeamento da entrada para a sada no pode ser extrado por algoritmos de aprendizagem ou procedimentos estatsticos. De forma anloga,
sempre que o mapeamento pode ser aprendido diretamente a partir de dados de entrada,
tem-se um problema do tipo 1. Freqentemente, problemas do tipo 2 podem ser transformados em problemas do tipo 1. Contudo, a transformao apropriada no conhecida
a priori. Ento, a questo principal no aprendizado de categorias pode ser resumida em
como realizar essa converso. Uma estratgia eficiente que pode ser empregada para resolver isto explorar a coordenao sensrio-motora (NOLFI; PARISI, 1999).
Pfeifer e Scheier (1997) propuseram uma srie de modelos de agentes de software para
explorar a coordenao sensrio-motora. No modelo SMC I, o agente aprende a discernir entre objetos circundando em torno deles. Este comportamento exploratrio permite
diferenciar os objetos por meio de invarincias que so identificadas (e.g., diferena na
velocidade angular). No modelo SMC II, a categorizao realizada por uma associao reentrante entre as modalidades sensitivas da viso e do tato. Esses dois trabalhos
so amparados pelo estudo conduzido por Bushnell e Boudreau (1993) sobre o desenvolvimento de capacidades motoras em crianas recm nascidas. Diante dos resultados
obtidos, os autores sugerem que a aprendizagem drasticamente simplificada quando as
crianas manipulam objetos em frente de suas faces a uma distncia fixa.
2.3.6.5
Princpio da aprendizagem
Os seres vivos tm a capacidade de aprender. O aprendizado, do ponto de vista da

neurocincia, ocorre atravs de mudanas estruturais nas conexes sinpticas entre os
neurnios. Estas alteraes podem ser realizadas de variadas formas, o que acaba por
gerar inmeros tipos de aprendizagem. O presente trabalho no discute em detalhes cada
uma das abordagens existentes, entretanto, d nfase aos aspectos relevantes pesquisa
em inteligncia artificial. A Tabela 2.2 apresenta um esboo geral dos principais paradigmas de aprendizagem, a saber: no-associativo e associativo.
37
Tabela 2.2: Viso geral dos principais paradigmas de aprendizagem

Classe
Paradigma
Descrio
Regra(s)
No associativo
Habituao
Aprendizagem baseada na reduo da intensidade de resposta a

estimulaes repetitivas
Aprendizagem baseada no aumento da intensidade de resposta a estimulaes repetitivas
Aprendizagem baseada em informao a priori (ou a posteriori) sobre as relaes causaefeito entre as aes do agente
e o estado do ambiente
Aprendizagem baseada somente
em correlaes de dados de entrada, sem nenhum tipo de conhecimento a priori
Aprendizagem baseada em recompensas/punies resultantes
do comportamento efetuado
pelo agente no ambiente
Regra de Stanley,
Regra de Wang & Arbib
Sensibilizao
Associativo
Supervisionado
No-supervisionado
Auto-supervisionado
regra Delta,
regra de retropropagao de erros (backpropagation),
arquitetura Outstar
regra de Hebb,
regra de Kohonen
Q-learning,
variaes de Hebb
O aprendizado no-associativo descreve a mudana comportamental que ocorre ao

longo do tempo em resposta a um nico tipo de estmulo. Assim, a repetio de um
estmulo proporciona o aprendizado sobre suas propriedades. Dois tipos de aprendizado
que se enquadram nessa categoria so a habituao e a sensibilizao.
A habituao uma forma simples de aprendizado em que um estmulo neutro
repetido inmeras vezes. Na primeira vez, o estmulo uma novidade e evoca uma determinada reao no organismo. No entanto, medida que o estmulo repetido evoca
cada vez menos resposta. Por fim, aps um perodo de tempo, o estmulo passa a ser
ignorado provavelmente porque no agrega nenhum significado ao organismo. Um exemplo familiar a percepo do barulho de carros em uma avenida movimentada que, aps
algum tempo, pode diminuir e at mesmo no ser mais notado. Do ponto de vista neural,
a depresso da atividade sinptica entre interneurnios e neurnios motores parece ser o
mecanismo geral de habituao (LENT, 2002).
A sensibilizao um processo de aprendizado pelo qual um organismo aprende a
ter uma resposta mais intensa a estmulos que previamente no evocavam nenhum tipo
de reao. Em outras palavras, um organismo aprende a reconhecer um estmulo com
propriedades nocivas, respondendo eficazmente a ele e a outros que a ele se assemelhem,
mesmo que incuos. o que ocorre, por exemplo, depois que uma pessoa ouve um forte
barulho, como em uma batida de carro ou em uma exploso. Nesse caso, pequenos rudos passam a assust-la, sendo que se esses rudos no fossem antecedidos pelo barulho,
nem seriam percebidos. Acredita-se que essa forma de aprendizado ocorra devido a um
mecanismo de facilitao presente no sistema nervoso de animais (LENT, 2002).
O aprendizado associativo refere-se associao de eventos, onde ocorre a ligao de
estmulos que anteriormente no estavam relacionados. Existem duas formas de aprendizagem associativa: por condicionamento clssico e por condicionamento instrumental.
O aprendizado por condicionamento clssico foi inicialmente descrito, em situaes
38
experimentais, pelo russo Ivan Pavlov. O cientista ensinou ces a salivar quando ouviam
o som de campainha, ao parear o estmulo neutro da campainha a uma recompensa alimentar. A idia que os ces, ao sentir a presena de um alimento por meio do olfato
ou da viso, comeam a salivar. O experimento consistiu em tocar uma sineta enquanto
os ces eram alimentados. Mais tarde, aps algumas repeties, Pavlov constatou que
em pouco tempo os ces respondiam com salivao ao soar da campainha, que passou a
ser um estmulo condicionado e a provocar o reflexo da salivao mesmo sem a presena
da comida. Ao descrever esta experincia, Pavlov denominou a salivao sob a influncia do alimento de reflexo no-condicionado (UR); o prprio alimento de estmulo nocondicionado (US); a salivao sob a influncia da campainha de reflexo condicionado
(CR); e a campainha de estmulo condicionado (CS). Pavlov chamou esta modalidade
de aprendizagem de reflexo condicionado. No contexto de tcnicas de aprendizagem de
mquina, este paradigma se enquadra na definio do aprendizado supervisionado.
A base do condicionamento instrumental (ou operante), designado pelo psiclogo
Burrhus Frederic Skinner, a associao entre o estmulo e o comportamento do animal.
A resposta est relacionada probabilidade de ocorrncia de uma recompensa ou punio.
A pesquisa desenvolvida por Thorndike demonstrou que os animais aprendem conforme
as conseqncias de suas aes; ou seja, todo comportamento animal influenciado por
seus efeitos, sejam eles benficos ou malficos. No experimento realizado por Thorndike,
um co (ou um gato) deve aprender uma seqncia de aes especficas para escapar de
uma caixa (puzzle box"). Assim, o animal inicia timidamente emitindo uma variedade
de respostas que esto no seu repertrio natural de comportamentos. O treinador pode
ento selecionar uma resposta para reforar. Devido ao reforo, esta resposta emitida
com maior freqncia, enquanto outras so paulatinamente eliminadas. No mbito da
comunidade de aprendizagem de mquina, este modelo de aprendizagem empregado de
modo estritamente tcnico, compreendendo o aprendizado por reforo e o aprendizado
baseado em valor. Apesar de similaridades entre estas duas propostas, o presente trabalho
foca na abordagem baseada em valor, por ser mais adequada e compatvel com os ideais
de agentes de software situados e corporificados (PFEIFER; SCHEIER, 2001, p. 467501).
As pesquisas realizadas por neurocientistas revelam que o processo de aprendizagem
animal modulado pela atribuio, de diferentes valores, aos estmulos recebidos (EDELMAN, 1995). Os estmulos que chegam ao crebro, tanto externos quanto internos, so
tratados com importncia distinta. Por exemplo, a sensao causada pela destruio da
pele de um animal recebe um valor bem maior do que uma simples presso na mesma
rea. De forma anloga, estmulos externos que identificam alimentos recebem um valor
maior do que um equivalente no alimentar. Acredita-se que este processo realizado por
neuromoduladores presentes em regies cerebrais especializadas, denominadas por sistemas de valores (EDELMAN, 1995). Cada espcie tem o seu sistema de valores (tambm
denominado de centro hedonista ou sistema homeosttico), que inclui informaes do seu
corpo e informaes do ambiente. Em sntese, o sistema de valores identifica os sinais
mais salientes e guia de certa forma o comportamento animal.
As tcnicas de aprendizagem baseada em valor buscam inspirao nos sistemas de
valores dos seres vivos. Basicamente, estas tcnicas se enquadram em duas categorias
principais: explcita e implcita. Em ambas as categorias, a idia que foras motivacionais intrnsecas influenciam, direta ou indiretamente, o comportamento do agente de
software. As foras motivacionais podem ser compreendidas como influncias, sejam externas ou internas, que codificam o que valioso" para o agente. Isto faz com que o
agente prefira um determinado comportamento em detrimento de outro.
39
Na categoria implcita da aprendizagem baseada em valor, a modulao realizada

por mecanismos que selecionam determinadas interaes com o ambiente, conduzindo a
um aumento na capacidade de adaptao do agente de software ao seu nicho ecolgico.
Geralmente, os mecanismos empregados so reflexos bsicos introduzidos pelo projetista
do sistema. Estes reflexos aumentam a probabilidade do agente receber um valor explcito
para uma ao particular. Por exemplo, a capacidade de distinguir entre itens alimentares e
itens venenosos baseado em dicas exteroceptivas, como a viso. Esta habilidade direciona
o agente procura por comida de forma mais rpida e, por isto, proporciona uma melhor
adaptao ao meio ambiente.
Na categoria explcita da aprendizagem baseada em valor, sinais de valores so gerados como conseqncia do comportamento do agente de software. Estes sinais podem
ser neurais ou hormonais e so utilizados posteriormente para modular o processo de
aprendizagem. Em arquiteturas baseadas em redes neurais artificiais, esta modulao est
relacionada com a regra de aprendizagem neural, ou seja, o quo rpido uma mudana
nas conexes sinpticas ocorre. Tipicamente, a modulao codificada atravs de uma
verso modificada da regra de aprendizado por coincidncia hebbiano6 .
As pesquisas neurofisiolgicas confirmam que a idia da regra de aprendizado por
coincidncia hebbiano aproximadamente correta, muito embora isto ocorra de uma
forma muito mais complexa do que o simples aumento da eficincia". O efeito do reforo
da conexo entre dois neurnios, quando um contribui para o disparo do outro, pode ser
simulado matematicamente ajustando-se o peso nesta conexo por uma constante multiplicada pelo produto de seus valores de sada, conforme apresentado na Equao 2.1.
wij = ai aj ,
(2.1)
onde wij o peso da conexo sinptica entre o neurnio pr-sinptico j e o neurnio pssinptico i, o parmetro da taxa de aprendizagem, e ai e aj representam as ativaes
dos neurnios ps e pr-sinptico, respectivamente. A Equao 2.2 ilustra a idia bsica
subjacente aprendizagem explcita baseada em valor. Matematicamente, adiciona-se um
termo multiplicativo regra de Hebb, tal que:
wij = V ai aj ,
(2.2)
onde V o termo relacionado contribuio do sistema de valores, e ai e aj representam

as ativaes dos neurnios ps e pr-sinptico, respectivamente, fixadas em uma janela
temporal. No caso em que V > 0, o peso da conexo sinptica entre os neurnios i e j
fortalecida. Caso contrrio, se V < 0, ela enfraquecida. Em especial, quando V = 0,
no existe atualizao sinptica e, conseqentemente, no h aprendizado. Como pode
ser observado, a modulao da aprendizagem acontece a posteriori. Por isto, necessrio
ter uma espcie de memria da histria recente das ativaes neurais responsveis pelo
comportamento que disparou o sinal de valor. Tipicamente, a forma mais simples de codificar tal memria estabelecer uma mdia temporal das ativaes neurais (vide termos
ai e aj na Equao 2.2). Como resultado, os neurnios que conduziram a um determinado
comportamento ainda esto suficientemente ativos quando o sinal de valor disparado.
No existe ainda uma teoria unificada ou uma abordagem comumente aceita na comunidade cientfica para a aprendizagem robtica. Dessa forma, no h consenso de qual
6
A teoria de Hebb baseada na observao que, em sistemas biolgicos, quando um neurnio contribui
para o disparo de outro neurnio, a conexo entre eles reforada (HEBB, 1949).
40
o melhor paradigma a ser utilizado em agentes de software. Contudo, pode-se enumerar uma srie de caractersticas desejveis em um algoritmo de aprendizagem: robustez
e tolerncia a rudos; convergncia rpida; tratabilidade computacional; adaptatividade a
eventuais mudanas ambientais; operao em modo seqencial (on-line); e dependncia
de informaes que possam apenas ser extradas de sensores do agente, e no aquelas
fornecidas por um projetista ou por um observador externo.
2.4
Consideraes do captulo
Este captulo apresentou os princpios, modelos e mtodos de investigao de cada

uma das vertentes da cincia da cognio. Diante do exposto, pode-se argumentar que
a categoria tradicional da cincia cognitiva assume a realidade como objetiva, pr-dada
e independente do sujeito e, portanto, o saber e conhecer humanos so vistos como representaes ou modelos internos da realidade externa. J a categoria contempornea da
cincia cognitiva parte do princpio de que a realidade construda pelo prprio sujeito no
seu curso de interao com o meio ambiente e, por esse motivo, o mundo no pr-dado
e no h representaes ou modelos internos da realidade externa.
De acordo com os fundamentos terico-conceituais de cada uma das vertentes da cincia da cognio, a Inteligncia Artificial busca projetar e desenvolver mecanismos de software e/ou hardware que apresentem comportamento inteligente. Em sua grande maioria,
os desenvolvimentos tm se embasado em abordagens tradicionais, alcanando relativo
sucesso. Por outro lado, as abordagens contemporneas oferecem uma grande sntese,
genuinamente transdisciplinar, que surgiu por meio da contribuies de diversas reas
do conhecimento que tm se ocupado com o fenmeno da cognio em seus mltiplos
aspectos, tais como: neurocincia, biologia, fsica, lingstica, sociologia e antropologia.
Os agentes de software construdos em conformidade com as abordagens tradicionais,
tanto cognitivistas quanto conexionistas, se encontram bem desenvolvidos com relao
a suas pesquisas. Os pesquisadores desta rea, em sua grande parte, esto preocupados
em aprimorar as tcnicas e ferramentas j existentes. Cabe salientar que em virtude do
representacionismo e da separao em sentir-pensar-agir inerente s abordagens clssicas
das cincias da cognio, inmeros problemas fundamentais so inseridos na modelagem
de agentes de software, conforme discutidos na Seo 2.2.3.
O desenvolvimento de agentes de software que partilham dos conceitos derivados
das abordagens contemporneas da cognio ainda incipiente. Recentemente, Pfeifer
e Scheier (2001) propuseram cinco princpios de projeto para serem empregados no projeto de agentes de software situados e corporificados, conforme expostos na Seo 2.3.6.
No entanto, ainda existe uma carncia muito grande por uma fundamentao terica, uma
arquitetura, uma metodologia de criao e ferramentas que estejam definidas e difundidas
no meio acadmico. Isto implica um amplo campo de pesquisas a ser explorado. Alguns
esforos iniciais j foram realizados, como, por exemplo, por Santos (2003), Verschure e
Althaus (2003), Krichmar e Edelman () e Harter e Kozma (May 2005).
A maioria dos trabalhos que vm sendo desenvolvidos na rea da Inteligncia Artificial se baseia no paradigma conexionista, com a utilizao de redes neurais artificiais.
Ressalta-se que isso s no vai de encontro com os ideais contemporneos da cognio
desde que a rede neural seja adequadamente incorporada arquitetura de controle do
agente e este, por sua vez, seja situado e corporificado em um ambiente simulado ou real.
Assim, o comportamento do agente dado pela rede neural em conjunto com a fsica de
seu corpo. O prximo captulo apresenta os fundamentos de redes neurais artificiais.
41
FUNDAMENTOS DE REDES NEURAIS ARTIFICIAIS
Este captulo apresenta alguns dos principais conceitos relacionados a redes neurais
artificiais, com o intuito de servir de referncia ao leitor para a nomenclatura no restante
do texto. Inicialmente, discute-se brevemente o funcionamento do sistema nervoso, em
especial do neurnio biolgico. Em seguida, faz-se uma rpida anlise sobre os componentes bsicos de um neurnio artificial, em particular do neurnio de McCulloch e Pitts,
e caracteriza-se uma rede neural artificial genrica, enfatizando o seu funcionamento, a
sua topologia e o seu processo de aprendizado. Logo aps, apresenta-se a rede neural auto-organizvel baseada em grades proposta por Teuvo Kohonen, discute-se sobre
determinadas mtricas de convergncia e estabilidade da rede e examina-se algumas propriedades do mapa de caractersticas. Por fim, discorre-se sobre os principais benefcios
e aplicaes das redes neurais artificiais. As informaes aqui contidas foram extradas principalmente dos seguintes livros-texto: (HAYKIN, 2001; KOVCS, 2002; CONNORS;
BEAR; PARADISO, 2002; LENT, 2002; KOHONEN, 2001). Em (KASKI; KANGAS; KOHONEN,
1998) e (OJA; KASKI; KOHONEN, 2002) so apresentadas 5435 referncias de artigos sobre
o mapa auto-organizvel de Kohonen, publicados entre os anos de 1981 e 2002.
3.1
Introduo
O estudo do crebro atrativo, sob o ponto de vista da computao, por propiciar a

construo de modelos de processamento de informao biologicamente plausveis, como
o caso das redes neurais artificiais. Essas, representam uma tentativa de superar as
limitaes que o modelo de um computador digital apresenta, buscando, para tanto, imitar
os princpios e mecanismos que regem o funcionamento do crebro. Dentre as principais
caractersticas do crebro desejveis em um sistema computacional, pode-se enumerar:
alto grau de paralelismo; robustez e tolerncia a falhas; elevada imunidade a rudo; e
capacidade de adaptao e auto-organizao atravs da experincia e do aprendizado.
Uma rede neural artificial pode ser vista como um sistema de computao paralela
com parmetros distribudos, os quais podem ser ajustados atravs de algoritmos de treinamento eficientes. Embora o nvel de complexidade que se possa representar em uma
rede neural artificial seja muito inferior quele apresentado pelo crebro humano, que lhe
serviu de inspirao, sua capacidade de aprendizado fez com que se tornasse uma tecnologia promissora e uma candidata natural para realizar tarefas para as quais solues
algortmicas no sejam eficientes ou mesmo conhecidas (ENGEL, 2001). Por esta razo,
elas tm sido largamente aplicadas em tarefas relacionadas com o reconhecimento de padres, processamento de sinais, identificao de sistemas e controle.
Nas ltimas dcadas, progressos significativos tm sido realizados na rea, tanto no
surgimento de novas arquiteturas de redes, quanto na diversidade de aplicaes. No en-
42
tanto, alguns dos principais conceitos bsicos que permitem a compreenso de sua estrutura e funcionamento geral permanecem vlidos at hoje. Por esse motivo, neste captulo
no se discute de forma exaustiva todo o ferramental terico-conceitual existente mas,
pelo contrrio, apenas apresenta-se o essencial para a compreenso do presente trabalho.
3.2
O neurnio biolgico
O sistema nervoso dos seres vivos constitudo por um emaranhado de clulas que
se interconectam de forma especfica e precisa, formando circuitos neurais funcionais.
Basicamente, h dois tipos de clulas presentes no sistema nervoso: clula nervosa (ou
neurnio) e clula glial (ou glicito) (CONNORS; BEAR; PARADISO, 2002). O neurnio a
unidade sinalizadora do sistema nervoso, cuja morfologia est adaptada para funes de
transmisso e processamento de sinais. J os glicitos desempenham funes de infraestrutura: nutrem, do sustentao mecnica, controlam o metabolismo dos neurnios,
ajudam a construir o tecido nervoso durante o desenvolvimento e funcionam como clulas
imunitrias.
De acordo com Lent (2002, p. 14), classicamente considera-se o neurnio como a
unidade morfofuncional fundamental do sistema nervoso e o glicito como a unidade de
apoio. Por essa razo, nos ltimos anos a pesquisa na rea da neurocincia se concentrou
na investigao do papel dos neurnios no processamento de informao. Apesar da
localizao e da funo dos neurnios variarem, em geral todos compartilham a mesma
estrutura bsica. De maneira extremamente simplificada, um neurnio formado por:
um corpo celular ou soma que fornece suporte metablico e contm o ncleo da
clula, onde est armazenado o cdigo gentico;
diversos dendritos que consistem em variados prolongamentos prximo ao corpo
celular, em forma de ramificaes, e funcionam como receptores de sinais de outros
neurnios; e
um axnio que compreende um prolongamento fino e longo, atravs do qual sinais so enviados para outros neurnios. Esse prolongamento ramificado na sua
extremidade e forma uma arborizao terminal.
A Figura 3.1 mostra, de forma esquemtica, a estrutura de um neurnio biolgico.
Sinapse
Dendrito
Corpo celular
Ncleo
Axnio
Figura 3.1: Elementos bsicos de um neurnio biolgico
43
O impulso nervoso (ou potencial de ao) o principal sinal de comunicao utilizado

por um neurnio. A origem, propagao e transmisso do impulso nervoso so devidas s
propriedades eletroqumicas da membrana que envolve o neurnio. A membrana separa
dois meios caracterizados por concentraes inicas diferentes. Em estado de repouso, o
interior da clula nervosa constitudo por grande quantidade de ons de potssio K+ e o
exterior por ons de sdio Na+ e de cloro Cl . Nesse caso, a diferena de potencial entre
o interior e o exterior da clula da ordem de 60 mV. Quando um estmulo chega a
um receptor ou terminao nervosa, sua energia causa uma inverso temporria de cargas
na membrana. Como conseqncia, a diferena de potencial passa a ser positiva, com o
valor aproximado de +40 mV, e a clula fica mais propensa a gerar um sinal.
Um sinal pode ser caracterizado como um pulso eltrico gerado pela membrana, rpido e invarivel, que se propaga com enorme velocidade ao longo do axnio. Ao chegar
extremidade do axnio do neurnio, o impulso nervoso provoca a emisso de uma mensagem qumica, conhecida como neurotransmissor, que, por meio de uma zona de contato (a
sinapse), leva a informao intacta ou modificada para a clula seguinte. Dependendo
do tipo de neurotransmissor, a conexo sinptica pode ser excitatria ou inibitria. Uma
conexo excitatria contribui para a formao de um impulso nervoso na clula seguinte
enquanto que uma conexo inibitria age no sentido oposto.
De forma geral, os neurnios que compem o sistema nervoso de qualquer ser vivo
podem ser classificados em trs tipos fundamentais (LENT, 2002): aferente (ou sensitivo),
eferente (ou motor) e de associao (ou internuncial). Somente os neurnios sensitivos
e motores realizam a interface do sistema nervoso com o meio ambiente ou com outros
rgos que formam o organismo. No entanto, todos estabelecem inmeros circuitos fechados entre si atravs de suas sinapses. Por essa razo, o crebro humano a estrutura
mais complexa conhecida. Atualmente, calcula-se que o crebro possui 30 bilhes de
neurnios, sendo que 1/3 deles est localizado no crtex cerebral. Como cada um possui
cerca de 10.000 sinapses, possvel estimar-se que o nmero de sinapses seja da ordem
de 1015 . Gerald Edelman (1999) calculou que o nmero de circuitos funcionais possveis ultrapassa, em muitos milhares, a quantidade de partculas sub-atmicas do universo.
Desta forma, nenhum crebro igual a outro, ainda que todos sejam dependentes, para
um funcionamento adequado, de uma mesma organizao fsica.
3.3
O neurnio artificial
O primeiro modelo de neurnio foi proposto por Warren McCulloch e Walter Pitts em
1943, em uma tentativa de formalizar o conhecimento da poca sobre o funcionamento
do neurnio biolgico (KOVCS, 2002, p. 2738). A Figura 3.2 apresenta um diagrama de
blocos do neurnio artificial de McCulloch e Pitts, denominado unidade de limiar linear.
x1(t)
w1
x1(t)w1
x2(t)
w2
x2(t)w2
xn(t)
wn
xn(t)wn
.
.
.
.
.
.
.
.
.
f(.)
y(t)
Figura 3.2: Unidade de limiar linear de McCulloch e Pitts
44
Formalmente, o funcionamento do modelo de neurnio de McCulloch e Pitts pode

ser descrito da seguinte maneira. Considere o i-simo neurnio de uma rede neural com
n neurnios. Este neurnio caracterizado pelo valor i , chamado nvel de ativao do
neurnio, e pelo valor yi , chamado atividade do neurnio. O nvel de ativao corresponde
ao potencial da membrana do neurnio biolgico. A atividade do neurnio compreende
a taxa mdia de disparos dos potenciais de ao do neurnio biolgico. No modelo de
McCulloch e Pitts, o nvel de ativao definido da seguinte forma:
i (t) =
n
X
xj (t)wij
(3.1)
j=1
onde wij R o peso atribudo quela entrada do neurnio i cuja origem a atividade
xj (t) do neurnio j, e t Z indica o tempo, sendo este um valor discreto. O peso simula
a sinapse entre dois neurnios e quando estes no esto conectados assume o valor zero.
Assim como no caso biolgico, as sinapses podem ser tanto excitatrias como inibitrias.
Uma sinapse excitatria tem o seu peso positivo, wij > 0, e uma sinapse inibitria tem o
seu peso negativo, wij < 0. A atividade do neurnio i no instante t dada por f (i (t)).
A funo f , chamada funo de ativao ou de transferncia, adotada neste modelo a
funo degrau com limiar de disparo dado por :

f (x) =
0 se x
1 se x >
(3.2)
onde o limite de disparo.

O modelo de neurnio artificial de McCulloch e Pitts tem duas srias limitaes (BITTENCOURT, 2001, p. 301309): a sua natureza binria e a ausncia de uma forma sistemtica para determinar os pesos e limiares, sendo necessrio que esses valores sejam definidos manualmente, baseado na experincia emprica do projetista. No entanto, mesmo
com este modelo rudimentar de neurnio, McCulloch e Pitts foram capazes de provar
que uma rede neural equivalente a uma mquina de Turing e, portanto, capaz de calcular qualquer funo computvel (MCCULLOCH; PITTS, 1943 apud BITTENCOURT, 2001,
p. 304). Essa equivalncia deve-se ao fato de que possvel simular os operadores booleanos elementares (E, OU e NO) utilizando redes neurais, bastando para isso ajustar os
pesos das conexes e o valor do limiar. Desta forma, a partir destes operadores, pode-se
construir um computador convencional.
Recentemente, inmeras melhorias e modificaes foram realizadas no modelo de
McCulloch e Pitts, no tocante plausibilidade biolgica e tratabilidade computacional
como, por exemplo, em (IZHIKEVICH, 2003). De forma resumida, os seguintes aspectos
foram generalizados da proposta original: o nvel de ativao passa a ser definido como
uma funo qualquer g das atividades dos neurnios, i = g(x1 , . . . , xn ); a funo de ativao f passa a ser uma funo limitada qualquer; e introduzido um valor de polarizao
R, de modo que a atividade de um neurnio passa a ser calculada por yi = f (i + ).
A escolha da funo f pode influenciar drasticamente a complexidade e o desempenho
de uma rede neural. Duch e Jankowski (1999) propem uma taxonomia para caracterizao e classificao de funes de ativao. A Figura 3.3 apresenta trs exemplos de
funes de ativao. A funo de ativao linear definida por f (x) = x, sendo R
uma constante que regula a intensidade da atividade de x. A funo rampa uma funo
linear limitada pelo intervalo [, +]. Por fim, a funo sigmide a mais utilizada em
redes neurais por ser monotnica, diferencivel em todos os pontos e produzir uma sada
45
1.0
1.0
0.5
0.5
0.5
0.0
-0.5
-1.0
-3
f(x)
1.0
f(x)
f(x)
gradual e no-linear. Em geral, a funo sigmide assume as seguintes formas: logstica,

definida no intervalo [0, 1], e tangente hiperblica, definida no intervalo [1, +1].
0.0
-0.5
-0.5
-2
-1
-1.0
-3
0.0
-2
-1
-1.0
-3
-2
-1
Figura 3.3: Exemplos de funes de ativao. esquerda, funo linear. No centro,

funo rampa. direita, funo sigmide (tangente hiperblica).
3.4
A rede neural de mltiplos neurnios
Uma vez definido um neurnio, possvel estudar as propriedades de redes de neurnios interconectados, as chamadas redes neurais. Resumidamente, as principais caractersticas de uma rede neural artificial so comentadas a seguir, conforme exposto por Haykin (2001). Do ponto de vista do fluxo de informao, uma rede pode conter trs tipos de
neurnios: de entrada, anlogos aos neurnios sensoriais dos seres vivos; de sada, anlogos aos neurnios motores; e internos, anlogos aos neurnios associativos. Do ponto
de vista funcional, uma rede pode ser homognea, se todos os neurnios se comportarem
da mesma forma, ou, no caso contrrio, heterognea. Quanto a conectividade, uma rede
pode ser fracamente (ou parcialmente) conectada e completamente conectada. Quanto a
topologia da interligao entre neurnios, uma rede pode ser de alimentao direta ou
acclica (do ingls feed-forward) e recorrente ou cclica (do ingls feedback). Uma rede
de alimentao direta representa uma funo de sua entrada atual; assim, ela no tem
nenhum estado interno alm dos pesos propriamente dito. Por outro lado, uma rede recorrente utiliza suas sadas para alimentar de volta suas prprias entradas. Isso significa que
os nveis de ativao da rede formam um sistema dinmico que pode atingir um estado
estvel, exibir oscilaes ou, at mesmo, apresentar um comportamento catico.
No final da dcada de 1950, Frank Rosenblatt deu prosseguimento s idias de McCulloch e Pitts, criando uma genuna rede de mltiplos neurnios baseada na unidade de
limiar linear (HAYKIN, 2001, p. 143281). Esta rede foi denominada perceptron e possui
uma topologia em camadas, como mostra a Figura 3.4. Cada crculo denota um neurnio e cada coluna de neurnios representa uma camada. Assim, os neurnios de ndice
1, . . . , i, . . . , N compem a camada de entrada; os neurnios de ndice 1, . . . , j, . . . , L
formam a camada oculta; e os neurnios de ndice 1, . . . , k, . . . , M constituem a camada
de sada. A camada de entrada responsvel pela distribuio dos valores de entrada x
para os neurnios da camada oculta que, por sua vez, realizam um mapeamento intermedirio do problema em questo, gerando vetores linearmente separveis para a camada de
sada, a qual realiza a rotulao das classes ou o mapeamento desejado. A rede neural
da Figura 3.4 formada por uma nica camada oculta. Alternativamente, o mapeamento
intermedirio do problema pode ser realizado por sucessivas camadas ocultas. Todavia,
sabe-se hoje em dia que qualquer problema pode ser solucionado por um perceptron de
trs camadas, com um nmero suficiente de neurnios na camada oculta (HAYKIN, 2001).
O termo ij (t) o valor de sada do neurnio genrico j da camada oculta; yk (t) o valor
46
o
s
de sada do neurnio genrico k da camada de sada; wji
e wkj
so os pesos sinpticos
genricos da camada oculta e de sada, respectivamente.
Camada de Entrada
Camada Oculta
x0=1
x1(t)
i0=1
x1(t)
woj0(t)
xi(t)
woji(t)
w
j
ij(t)
wojN(t)
xN(t)
xN(t)
wsk0(t)
i1(t)
woj1(t)
xi(t)
Camada de Sada
y1(t)
yk(t)
yM(t)
k1(t)
wskj(t)
wskL(t)
iL(t)
Figura 3.4: Perceptron de mltiplas camadas de Frank Rosenblatt

Nesta mesma poca, Bernard Widrow desenvolveu um modelo neural linear intitulado
ADALINE e, mais tarde, a sua expanso multidimensional MADALINE (KOVCS, 2002,
p. 5366). Contudo, a maior contribuio de Widrow foi a inveno de um princpio de
treinamento extremamente poderoso, conhecido como regra Delta, que realiza o ajuste
automtico dos pesos das conexes entre os neurnios. Posteriormente, esta regra foi
generalizada por Paul Werbos que inventou o algoritmo de retropropagao de erros.
Entretanto, foram os pesquisadores Rummelhart, Hinton e Williams que popularizaram e
consagraram o algoritmo de retropropagao de erros (KOVCS, 2002, p. 6790).
Haykin (2001, p. 188202) apresenta o formalismo matemtico empregado no algoritmo de retropropagao de erros. O algoritmo parte de uma rede feedforward inicializada com pesos aleatrios e ento realiza as operaes descritas no Algoritmo 3.1, onde
dk a sada esperada do k-simo neurnio da camada de sada, k e j so os nveis
de ativao do k-simo neurnio da camada de sada e do j-simo neurnio da camada
0
0
oculta, respectivamente, e f s () e f o () so as derivadas da funo de ativao da camada
de sada e da camada oculta, respectivamente.
Algoritmo 3.1: Algoritmo de Retropropagao de Erros (Backpropagation)
1 enquanto condio de parada no for satisfeita faa
2
Apresentar um exemplo x e computar o valor de sada de cada unidade na rede;
3
para cada unidade de sada k faa
0
4
Calcular o termo de erro segundo ks = f s (k )(dk yk );
5
Ajustar o vetor de peso sinptico segundo wks = wks + ks i;
6
fim
7
para cada unidade oculta j faa
M
P
0
s
Calcular o termo de erro segundo jo = f o (j )
ks wkj
;
8
k=1
Ajustar o vetor de peso sinptico segundo wjo = wjo + jo x;
fim
10
11
fim
47
A condio de parada satisfeita tipicamente aps um nmero fixo de iteraes ou

quando o erro torna-se menor que um erro definido como aceitvel. Como o algoritmo de
retropropagao requer o clculo do gradiente do vetor de erro, desejvel que a funo
de ativao dos neurnios seja diferencivel em todos os pontos. Isso explica o sucesso
da funo sigmide, uma vez que ela possui esta propriedade.
Desde ento inmeras tcnicas de aprendizado foram propostas na literatura (HAYKIN,
2001, p. 75142), tais como: a rede auto-organizvel baseada em grades (Self-Organizing
Map) proposta por Teuvo Kohonen; as redes auto-organizveis incrementais da famlia
ART (Adaptive Resonance Theory) elaborada por Carpenter e Grossberg; a rede competitiva CPN (Counterpropagation) desenvolvida por Robert Nielsen; e a rede recorrente
de Hopfield. A Tabela 3.1, a seguir, relaciona alguns modelos de redes neurais com suas
aplicaes, indicando a principal inspirao biolgica/terica que os influenciaram.
Tabela 3.1: Inspirao biolgica das redes neurais. Adaptado de: (BARONE, 2003, p. 120).
Rede neural
Inspirao biolgica/terica
Aplicaes
Perceptron
Retina (sistema visual)
Rede Backpropagation
Multicamadas
Redes auto-organizveis
Redes da famlia ART
Rede CPN
Rede de Hopfield
Crtex cerebral
Teoria da ressonncia adaptativa
Sinapses
Redes de atratores
Identificao de padres linearmente separveis

Identificao de padres no linearmente
separveis, classificao de imagens
Reconhecimento de padres
Reconhecimento de padres
Minerao, processamento de imagens
Reconhecimento de padres, otimizao
3.5
A rede neural auto-organizvel de Kohonen
Um conjunto de modelos conexionistas vem sendo proposto na literatura com a finalidade de modelar as propriedades peculiares de mapas corticais (ou mapas topogrficos)
do crebro de seres vivos, sendo genericamente conhecidos na literatura por mapas topolgicos auto-organizveis. Sabe-se hoje em dia que os mapas corticais tm importncia
mpar nos processos de aprendizagem e memria, pois fornecem uma representao compacta e fiel dos dados sensoriais. Dependendo da natureza da informao envolvida, um
mapa cortical recebe um nome especfico por exemplo, o mapa retinotpico faz o mapeamento da retina sobre o crtex visual, o mapa somatotpico da pele sobre o crtex
somato-sensrio, e o mapa tonotpico do ouvido sobre o crtex auditivo.
Em essncia, um mapa topolgico auto-organizvel definido por um arranjo de
neurnios representando diferentes elementos processadores ou filtros, que operam em
paralelo sobre sinais portadores de informao. Christoph von der Malsburg e David
Willshaw foram os pioneiros na construo de mapas topogrficos artificiais, propondo
em 1976 um modelo computacional para explicar o problema do mapeamento retinotpico (HAYKIN, 2001, p. 484). Inspirado nesta idia, no incio da dcada de 1980, Teuvo
Kohonen tambm elaborou um modelo que capturava as caractersticas essenciais dos variados mapas computacionais do crebro (KOHONEN, Sept. 1990, 2001). Este modelo,
intitulado mapa de Kohonen (ou SOM), uma rede engenhosa construda em torno de
uma grade uni- ou bidimensional que tem o propsito de transformar um sinal de entrada
de dimenso arbitrria em um arranjo discreto de unidades de processamento. Essa transformao realizada de forma adaptativa e mantm relaes de similaridade entre os dois
48
espaos. Por esse motivo, a rede de Kohonen geralmente utilizada para efetuar anlise
de agrupamentos e visualizao de dados multivariados em dimenses reduzidas.
Considere que X seja um espao contnuo de dados de entrada e que possua uma
topologia determinada por certas relaes mtricas entre vetores x X . Do espao X
conhece-se somente um conjunto finito de vetores (amostras) x X , organizados de
acordo com uma densidade de probabilidade p(x). Considere, ainda, que a topologia do
espao de sada A seja definida por um arranjo geomtrico de um conjunto de neurnios
i A. Desta forma, o mapeamento do espao de entrada X para o espao de sada A
realizado segundo uma transformao no-linear , tal que:
:X A
(3.3)
Seja m a dimenso do vetor do espao (contnuo) de entrada X . Um vetor (padro)

de entrada x X Rm , selecionado de forma aleatria, denotado por:
x = [x1 , x2 , . . . , xm ]T
(3.4)
Cada neurnio da grade possui um vetor de pesos sinpticos de mesma dimenso do

vetor de entrada. A representao do vetor de pesos de um neurnio i dada por:
wi = [wi1 , wi2 , . . . , wim ]T ,
i = 1, 2, . . . , l
(3.5)
onde l o nmero total de neurnios na grade.

A Figura 3.5 representa esquematicamente os elementos bsicos da rede de Kohonen.
x1
x2
...
xm
= x(t)
Figura 3.5: Elementos bsicos de um mapa auto-organizvel de Kohonen. Um padro de

entrada x de dimenso m fornecido para a rede no instante t. Dentre todos os l neurnios
da rede, um deles considerado o vencedor v. A vizinhana hvi dada pelos neurnios
mais prximos ao neurnio vencedor. Apenas o vencedor e a sua vizinhana tm os pesos
sinpticos modificados, de forma que fiquem ainda mais prximos do padro de entrada.
De acordo com a Figura 3.5, cada neurnio da grade est totalmente conectado s
m unidades de entrada x, atravs de pesos sinpticos agrupados no vetor w. Esta rede
tem uma estrutura de propagao para frente com uma nica camada computacional de
49
neurnios, normalmente dispostos em uma configurao linear, retangular ou hexagonal.

A sada da rede pode ser o ndice do neurnio vencedor ou, simplesmente, um vetor
binrio com todos os bits em zero, exceto o bit que corresponde ao neurnio vencedor.
Cabe salientar que a representao gerada pela rede tipicamente espacial, uma vez que
a sada se refere unicamente ao ltimo padro de entrada apresentado.
O algoritmo responsvel pela formao do mapa auto-organizvel de natureza competitiva e no-supervisionada. O primeiro passo realizado pelo algoritmo diz respeito
atribuio de valores pequenos e aleatrios aos pesos sinpticos da rede. Desta forma,
nenhuma organizao prvia imposta rede. Uma vez que os valores iniciais para os parmetros livres da rede tenham sido apropriadamente escolhidos, h trs processos envolvidos na formao do mapa auto-organizvel: competio, cooperao e adaptao. O
treinamento da rede pode ser resumido atravs das operaes descritas no Algoritmo 3.2.
A condio de parada satisfeita tipicamente aps um nmero fixo de iteraes.
Algoritmo 3.2: Algoritmo do Mapa Auto-Organizvel de Kohonen
1 Inicializar os parmetros e ;
2 enquanto condio de parada no for satisfeita faa
3
Apresentar um exemplo x e computar o valor de sada de cada unidade na rede;
4
Determinar o neurnio vencedor segundo v = argmin1il {kx wi k};
5
para cada unidade i na rede faa

2
ri k
Calcular o fator de vizinhana segundo hvi = exp krv2
2
Ajustar o vetor de peso sinptico segundo wi = wi + hvi [x wi ];

fim
Atualizar os parmetros e ;
8
9
10
fim
A seguir discutido em detalhes cada um dos processos envolvidos no algoritmo.
3.5.1
Processo de competio
O processo de competio consiste em identificar o neurnio que melhor represente

o vetor de entrada atual. Para tanto, o vetor de pesos sinpticos de todos os neurnios
da rede so comparados com o vetor de entrada. Como regra geral, essa comparao
realizada por uma medida de distncia. O neurnio cujo vetor de pesos sinpticos mais se
aproxima do vetor de entrada considerado o vencedor. Matematicamente, a competio
pode ser codificada em termos da distncia euclidiana, conforme a Equao 3.6:
v(t) = argmin{kx(t) wi (t)k}
(3.6)
1il
onde v o neurnio vencedor para o padro de entrada x apresentado rede no instante

de tempo t, dentre todos os l neurnios presentes na rede.
3.5.2
Processo de cooperao
O processo de cooperao consiste em determinar a vizinhana topolgica centrada

no neurnio vencedor. Em geral, a vizinhana codificada por uma funo contnua em
forma de sino, de acordo com a Equao 3.7:
50
krv ri k2
hvi (t) = exp
2 2 (t)

(3.7)
onde rv e ri so as posies (i.e., coordenada no mapa discreto A) do neurnio vencedor

e dos demais neurnios da rede, respectivamente, e (t) especifica a largura da vizinhana topolgica (i.e., determina o nmero de neurnios que participam no processo de
aprendizagem juntamente com o neurnio vencedor).
Atravs da funo vizinhana hvi (t), o neurnio vencedor e seus vizinhos no mapa
discreto interagem, de tal forma que quanto mais prximo um determinado neurnio estiver do neurnio vencedor mais intensa e positiva ser a sua interao. Por esta razo,
neurnios prximos tendem a reconhecer caractersticas similares e, portanto, pode-se
dizer que o mapa de neurnios preserva a topologia do padro dos vetores de entrada.
O valor do parmetro , via de regra, decresce monotonicamente com o passar do processo de aprendizagem. A diminuio no nmero de vizinhos de fundamental importncia para o ordenamento e convergncia da rede. Em geral, a largura deve ser inicialmente
alta para promover um rpido ordenamento dos pesos sinpticos e diminuir gradualmente
de modo a garantir a convergncia dos mesmos. Uma escolha comum para a dependncia
temporal de (t) apresentada na Equao 3.8:

(t) = 0
f
0
t
t = 0, 1, . . . , 1
(3.8)
em que 1 uma constante de tempo associada ao decaimento do parmetro .

3.5.3
Processo de adaptao
Uma vez determinado o neurnio vencedor e a sua vizinhana topolgica, ocorre o

processo de adaptao dos pesos sinpticos. Este processo basicamente faz com que o
neurnio vencedor e os seus vizinhos se tornem mais especializados no reconhecimento
do ltimo padro de entrada apresentado rede. Matematicamente, a regra de aprendizagem pode ser calculada a partir da Equao 3.9:
wi (t + 1) = wi (t) + (t)hvi (t)[x(t) wi (t)]
(3.9)
onde 0 < (t) 1 o parmetro da taxa de aprendizagem que controla a velocidade com
que os pesos sinpticos so modificados. Dito de outra forma, especifica a velocidade
com que a rede adquire um novo conhecimento.
Assim como no caso da largura da vizinhana topolgica, a taxa de aprendizagem
deve diminuir com o transcorrer do treinamento de modo a garantir a convergncia e,
principalmente, a estabilidade (i.e., manuteno da memria previamente aprendida) do
mapa. O parmetro , em geral, deve comear com um valor inicial 0 para t = t0 e,
ento, decair linearmente no tempo at atingir um valor final f , aps um nmero fixo de
iteraes 2 . Este requisito pode ser satisfeito escolhendo-se um decaimento exponencial,
de acordo com a Equao 3.10:

(t) = 0
f
0
t
t = 0, 1, . . . , 2
em que 2 uma constante de tempo associada ao decaimento do parmetro .
(3.10)
51
3.5.4
Mtricas de preciso e preservao de topologia
Com o intuito de gerar uma configurao estvel e organizada do mapa discreto de

sada A, deve-se realizar uma seleo criteriosa dos parmetros 0 , f , 0 e f . Devido
ausncia de uma fundamentao terica slida do algoritmo de Kohonen, na literatura
h algumas heursticas que auxiliam nesta escolha, entretanto, geralmente restritas a um
domnio especfico de aplicao. De forma geral, duas mtricas principais so empregadas
na avaliao da preciso do mapeamento e da preservao da topologia.
A primeira medida tem o propsito de calcular a preciso do mapeamento atravs de
um erro mdio de quantizao, que corresponde mdia das distncias entre cada amostra
x e o correspondente vetor de pesos sinpticos w do neurnio vencedor v:
N
1 X n
kx wvn k
EM Q =
N n=1
(3.11)
onde N o nmero de padres de treinamento e wvn o vetor de pesos sinpticos do

neurnio vencedor associado ao padro xn .
A segunda medida tem a finalidade de quantificar a capacidade do mapa em representar o arranjo geomtrico do espao de entrada X . Uma abordagem simples para avaliar
o erro mdio topolgico considera, para cada amostra x, a distncia entre o primeiro e o
segundo neurnios vencedores:
N
1 X
EM T =
u(xn )
N n=1
(3.12)
em que u(xn ) = 1 se o primeiro e o segundo vencedores associados ao padro xn no so

adjacentes. Caso contrrio, u(xn ) = 0. Ou seja, se as unidades no so vizinhas, ento a
topologia no est sendo preservada.
De forma resumida, a mtrica do erro mdio de quantizao (Eq. 3.11) corresponde
acuidade (ou resoluo) do mapa. J a mtrica do erro topolgico (Eq. 3.12) est relacionada com a capacidade da rede em preservar a topologia dos padres de entrada. Ambos
os erros so inversamente proporcionais ao nmero de neurnios da rede; ou seja, diminuem com o aumento de neurnios. No entanto, quando existe um nmero elevado de
neurnios pode ocorrer um fenmeno chamado sobre-ajuste (overfitting), tal que a rede
perde sua capacidade de generalizao. Por outro lado, quando h um nmero reduzido
de neurnios, pode acontecer o fenmeno inverso denominado sub-ajuste (underfitting),
tal que a rede se torna rgida demais para lidar com variados padres de entrada.
As duas mtricas supracitadas podem ser combinadas, de modo a formar uma medida
nica da qualidade do mapeamento aprendido, tal qual foi proposto por Kaski e Lagus
em 1996. Apesar de promissora, essa mtrica hbrida computacionalmente onerosa,
podendo tornar-se proibitiva em arranjos com dimenso maior que 2.
3.5.5
Propriedades do mapa de caractersticas
Uma vez concludo o processo de aprendizagem da rede, o mapa discreto de sada A

apresenta caractersticas importantes do espao de entrada X . De acordo com (HAYKIN,
2001, p. 494502), pode-se enumerar as seguintes propriedades do mapa de caractersticas
(vide Eq. 3.3) resultantes da aplicao do algoritmo de Kohonen:
Propriedade 1. Aproximao do espao de entrada. O mapeamento fornece uma aproximao discreta do espao de entrada X . Cada neurnio da grade responsvel
52
por uma regio do espao de entrada. A regio de influncia (ou, campo receptivo)
de um neurnio pode indicar que todos os padres de treinamento que ativam tal
neurnio compem um grupo ou uma categoria. Assim, correto afirmar que uma
propriedade intrnseca do algoritmo a categorizao dos padres de entrada.
Propriedade 2. Ordenao topolgica. O mapeamento ordenado de forma topolgica, no sentido de que a localizao espacial de um neurnio na grade corresponde
a uma caracterstica particular dos padres de entrada.
Propriedade 3. Casamento de densidade. O mapeamento reflete variaes na estatstica da distribuio da entrada. Regies no espao de entrada X de onde as amostras
x sejam retiradas com uma alta probabilidade de ocorrncia so mapeadas em regies maiores do espao de sada A, e vice-versa.
Propriedade 4. Seleo de caractersticas. O mapeamento fornece uma aproximao
discreta das curvas-principais, e pode, por conseguinte, ser visto como uma generalizao no-linear da anlise de componentes principais1 (JOLLIFFE, 2002).
Propriedade 5. Representao visual. O mapeamento pode ser visualizado de quatro
formas: representao do vetor de pesos no espao Rm ; matriz de distncia unificada (matriz-U) que permite analisar as relaes topolgicas entre os neurnios por
meio de uma imagem; planos de componentes que utiliza um mtodo de colorao
para analisar como cada vetor de entrada x foi organizado na grade; e atribuio de
rtulos de classe a cada neurnio, tal que a grade seja particionada em um nmero
de regies coerentes e forme um mapa contextual (ou, mapa semntico).
3.6
Este captulo apresentou um panorama geral da rea de redes neurais artificiais, introduzindo os principais conceitos, propriedades e componentes de uma rede neural. As
redes neurais representam um tema multidisciplinar com razes na neurocincia, matemtica, estatstica, fsica, cincia da computao e engenharia. A sua habilidade para
aprender a partir de exemplos as tornou ferramentas inestimveis em aplicaes to diversas como modelagem, anlise de sries temporais, reconhecimento de padres, processamento de sinais e controle. Em particular, as redes neurais tm muito a oferecer quando
a soluo de um problema de interesse dificultada por alguns dos seguintes pontos:
1. Falta de conhecimento fsico/estatstico do problema;
2. Variaes estatsticas nos dados observveis; e
3. Mecanismo no-linear responsvel pela gerao dos dados.
De forma resumida, uma rede neural artificial compreende um sistema no-linear do
tipo caixa-preta, pois fornece uma estrutura com parmetros ajustveis, sendo capaz de
implementar uma ampla classe de modelos (ENGEL, 2001). Os modelos que podem ser
implementados dependem essencialmente da arquitetura especfica da rede considerada.
1
A anlise de componentes principais uma tcnica estatstica poderosa utilizada para reduzir a dimensionalidade dos dados com um grande nmero de variveis correlacionadas e para fornecer uma viso
estatisticamente privilegiada do conjunto de dados original.
53
Por exemplo, a rede neural artificial mais simples, constituda por um nico neurnio
artificial, tambm chamada de perceptron elementar, equivale a um discriminador linear.
Por isso, o perceptron elementar capaz de implementar apenas modelos linearmente
separveis, o que restringe a sua aplicao a problemas bastante simples. Por outro lado,
uma arquitetura onde existem vrios neurnios dispostos paralelamente em camadas, com
ligaes adiante (feedforward) entre as camadas, equivale a um aproximador universal.
Em especial, a rede neural de Kohonen constitui uma classe de sistemas auto-organizveis, cujo algoritmo inspirado na neurobiologia2 , incorporando os mecanismos que so
bsicos para a auto-organizao: competio, cooperao e auto-amplificao. A sua
principal funcionalidade construir um mapeamento de um espao de dimenso elevada
para um arranjo discreto de neurnios de forma a conservar a topologia do espao de
entrada. Atualmente, a rede de Kohonen comumente empregada nos mais diversos
domnios de aplicao como, por exemplo, no reconhecimento e classificao de padres
em geral, identificao e controle de processos e na rea da robtica.
Por ser uma rede competitiva, a rede de Kohonen serve naturalmente para categorizar
os vetores de entrada, sendo capaz de extrair relaes complexas e no-lineares existentes
entre dados estticos, ou seja, a rede capaz de realizar quantizao vetorial. A quantizao vetorial pode ser compreendida como um procedimento que divide o espao de
entrada em um nmero de subespaos disjuntos, de tal forma que cada vetor de entrada
x representado pelo rtulo do subespao ao qual ele pertence. Em termos tcnicos, a
quantizao vetorial uma estimao pontual da funo densidade de probabilidade dos
dados de entrada, codificada pelo vetor de pesos sinpticos dos neurnios da rede. Portanto, a densidade de neurnios mxima nas reas em que entradas aparecem com maior
probabilidade e mnima em regies onde as entradas so escassas. A quantizao vetorial
oferece trs vantagens principais s redes neurais artificiais:
Compresso de dados, uma vez que, aps a estabilizao da rede com um limiar de
erro aceitvel, seus pesos podem ser utilizados em vez dos prprios dados;
Reduo considervel de esforo computacional, pois a quantidade de vetores de
pesos (prottipos) bastante reduzida em relao quantidade de dados; e
Aumento da robustez, visto que os prottipos extraem qualidades estatsticas mdias, filtrando flutuaes aleatrias que porventura estejam presentes nos dados.
Na rede de Kohonen os neurnios esto dispostos conforme um arranjo predeterminado uni- ou bidimensional, que mantido durante todo o processo de treinamento. Na
maioria das vezes, pouca ou nenhuma informao est disponvel acerca do tamanho e
da distribuio do conjunto de amostras do espao de entrada X . Portanto, a definio
de uma arquitetura de rede apropriada um fator que depende, em grande parte, da experincia emprica do projetista. Alm disso, as amostras podem estar correlacionadas no
tempo, ou seja, a ordem em que so observadas no tempo tem um papel fundamental e
deve ser levada em conta pelo modelo neural. No entanto, a rede de Kohonen convencional somente capaz de processar dados que esto relacionados de forma espacial.
Com o propsito de resolver as duas limitaes supracitadas, inmeras derivaes e
variaes da rede de Kohonen foram propostas na literatura especializada da rea. Esperase que esta introduo sobre os fundamentos de redes neurais artificiais possibilite a compreenso dos formalismos e das tcnicas de aprendizagem empregadas em redes autoorganizveis temporais e construtivas, tema a ser explorado no prximo captulo.
2
A plausibilidade neurobiolgica do mapa de Kohonen discutida em (KOHONEN, 1993).
54
TRABALHOS CORRELATOS
Este captulo busca oferecer uma viso geral das pesquisas relacionadas ao tema desta
dissertao. Em um primeiro momento, trabalhos que tratam da questo temporal em
redes neurais auto-organizveis so discutidos. Logo aps, feito um apanhado sobre
redes neurais auto-organizveis construtivas. Como no existem mtricas rgidas para se
avaliar em termos quantitativos cada modelo, a maioria foi implementada no simulador
robtico desenvolvido e testada em casos simples, considerando tarefas de segmentao
temporal. O objetivo principal da anlise foi o de obter uma idia das caractersticas e
peculiaridades de cada modelo e, ao mesmo tempo, fornecer parmetros sobre que limites
precisam ser superados. O resultado desta anlise est sintetizado nas Tabelas 4.1 e 4.2.
4.1
As redes neurais auto-organizveis temporais
A proposta original da rede de Kohonen baseada no processamento de dados estticos. Em outras palavras, dados que esto relacionados apenas de forma espacial. Contudo, tambm pode existir uma correlao temporal entre eles. Este o caso de padres
que ocorrem seqencialmente no tempo, tal que um padro individual no tem significado algum a no ser que seja considerado em conjunto com aqueles que o precedem
e/ou seguem. Para tais padres, doravante denominados indistintamente de dinmicos,
temporais ou seqenciais, a ordem em que eles so observados no tempo tem um papel
fundamental e deve ser levada em conta pelo modelo neural que os processa1 .
Desta forma, de suma importncia investigar como incorporar o tempo na operao
de uma rede neural, pois muitas das tarefas desempenhadas por seres humanos e animais
envolvem tomadas de deciso e respostas comportamentais a estmulos espao-temporais,
como, por exemplo, a viso, a fala, o processamento de sinais e o controle motor. A
capacidade de processar padres temporais deve ser uma propriedade das mais relevantes
de um sistema inteligente, seja ele biolgico ou artificial.
A grande maioria das redes neurais para processar informao temporal baseada no
aprendizado supervisionado, entre elas o perceptron de mltiplas camadas, redes de base
radial e redes baseadas em memria associativa (MOZER, 1993; HAYKIN, 2001, p. 685
847). Apesar de existirem redes no-supervisionadas projetadas para lidar com seqncias
temporais desde o final dos anos 60, apenas recentemente que elas tm recebido ateno especial por parte da comunidade cientfica. Em (BARRETO; ARAJO, 2001; MOSER,
2004, p. 1957) apresentada uma reviso bibliogrfica do estado da arte em modelos de
representao temporal baseados na arquitetura da rede de Kohonen.
1
Para uma discusso sobre o papel do tempo no processamento neural, consulte (ELMAN, 1990).
55
4.1.1
Processamento de seqncias temporais: definies e propriedades
De acordo com (BARRETO; ARAJO, 2001, p. 4), um padro dinmico uma srie
ou seqncia espao-temporal de natureza determinstica, estocstica, ou ainda catica,
formada por um conjunto finito e ordenado no tempo de N vetores de caractersticas:
XN = {x(t), x(t 1), x(t 2), . . . , x(t N )}
(4.1)
onde cada componente denotado por x(t) = [x1 (t), x2 (t), . . . , xn (t)]T Rn . Caso existam vrias seqncias, comumente os itens de uma seqncia particular so identificados
por meio de um sobrescrito, por exemplo, , = 1, . . . , P .
Para fins de simulao em um computador digital til adotar-se uma verso discreta da dimenso temporal, tal que o tempo evolua em intervalos regulares t. Desta
forma, o smbolo t usado para representar um instante particular no tempo, onde t
{0, t, 2t, 3t, . . .}. Em geral, a unidade de medida t expressada como um elemento do conjunto de nmeros inteiros: t {0, 1, 2, 3, . . .}
O processamento de seqncias temporais uma tarefa desafiadora para a qual ainda
no h uma abordagem unificada (BARRETO; ARAJO, 2001, p. 5). Isto se deve em parte
diversidade de propriedades dos sinais temporais. O conhecimento dessas propriedades
til para entender as aplicaes envolvidas em redes neurais temporais. As seguintes
definies tm carter geral e se aplicam igualmente a qualquer seqncia (BARRETO;
ARAJO, 2001, p. 5):
1. Ordem temporal: posio relativa de cada item da seqncia em relao a outro;
2. Mtrica: durao de um padro no tempo em relao a outros padres da seqncia;
3. Densidade: nmero de vetores de caractersticas que compem uma seqncia;
4. Assimetria: sentido do tempo que normalmente no pode ser invertido;
5. Contexto temporal: menor subseqncia formada por itens passados que possibilitam determinar sem ambigidades o item atual da seqncia; e
6. Grau: nmero de itens que compem o contexto temporal.
As propriedades supracitadas so usualmente codificadas como parmetros do modelo. Se, porventura, as propriedades no variarem com o tempo, ento diz-se que o sinal
estacionrio ou invariante no tempo. No entanto, muitos sinais do mundo real so gerados a partir de sistemas cujos parmetros variam significativamente com o tempo e, por
isso, so denominados de no-estacionrios ou variantes no tempo.
4.1.2
Memrias de curto prazo
Para estabelecer associaes e extrair correlaes temporais entre padres consecutivos de uma dada seqncia, uma rede neural deve ser capaz de reter e manter provisoriamente informao sobre itens passados desta seqncia. O mecanismo de reteno,
usualmente denominado memria de curto prazo (STM, do ingls short-term memory),
amplamente utilizado no processamento de seqncias temporais2 .
2
Para uma reviso das estruturas de memria de curto prazo e seu papel no processamento temporal,
consulte (MOZER, 1993), (HAYKIN, 2001, p. 685690) e (BARRETO; ARAJO, 2001).
56
Basicamente, memrias de curto prazo convertem informao temporal em espacial,

possibilitando que redes estticas convencionais sejam empregadas em tarefas de processamento de informao temporal. Esta abordagem para construir um sistema dinmico
no-linear direta porque fornece uma clara separao de responsabilidades: a rede esttica responsvel pela no-linearidade, e a memria responsvel pelo tempo.
Uma memria de curto prazo no possui nenhum tipo de aprendizado e, por essa
razo, o seu comportamento exclusivamente predeterminado por seus parmetros de
funcionamento. Para relacionar o comportamento dos diferentes tipos de memrias de
curto prazo, Mozer (1993) introduziu um modelo matemtico que generaliza a computao realizada por uma memria, tal que:
y(t) =
t
X
c(t )x( )
(4.2)
=1
onde t se refere a tempo decorrido e y representa a convoluo dos valores de entrada

x(t) em cada instante de tempo por pesos de participao c(t). Os pesos de participao
c(t) caracterizam o comportamento da memria e so conhecidos como funo kernel3 .
Nas subsees seguintes sero apresentadas e examinadas as principais memrias de
curto prazo relatadas na literatura especializada da rea (MOZER, 1993; HAYKIN, 2001;
BARRETO; ARAJO, 2001), a saber: memria de atraso, memria de trao exponencial baseada em integradores (do ingls leaky integrators), memria gama, memria
diferenciadora-integradora e unidade de habituao.
4.1.2.1
Memria de atraso
A memria de atraso consiste na forma mais simples de representar a informao temporal. Basicamente, a memria armazena o valor do k-simo instante de tempo passado
do vetor x. O valor de k especifica o atraso da memria, ou seja, de quanto tempo o
sinal de sada da memria est defasado em relao ao sinal de entrada. A representao
grfica de uma memria de atraso est ilustrada na Figura 4.1.
Memria de Atraso
x(t)
z-k
x(t-k)
Figura 4.1: Representao grfica de uma memria de atraso k.

Para representar mais de uma informao passada, a idia encadear as memrias de
atraso, de tal forma que sejam formadas linhas de atraso (do ingls tapped delay line).
O vetor de entrada x(t) a ser apresentado rede neural substitudo por uma janela de
tempo de tamanho 0 que abrange o item atual da seqncia e seus predecessores:
x(t) = [x(t), x(t 1), x(t 2), . . . , x(t + 1), x(t )]T
(4.3)
tal que dim(x(t)) = ( + 1) dim(x(t)).

A linha de atraso representa de forma explcita e sem perda de informao os ltimos
instantes de tempo da seqncia temporal. Contudo, todos os instantes anteriores no
3
Em tcnicas digitais a funo kernel definida como a resposta a um impulso unitrio do sistema.
57
so representados. Assim, a informao gerada sofre um truncamento abrupto. Deve-se

ter cuidado, portanto, na escolha do tamanho da linha de atraso utilizada. Se for menor
que o tamanho mnimo do padro temporal mais simples, a rede no ter como identificlo sem cometer ambigidades. Por outro lado, se for muito maior, a rede ter dificuldades
em criar generalizaes. Em geral, o tamanho adequado da janela estipulado por
tentativa-e-erro, aps alguma experimentao inicial com os dados e a rede.
A memria de atraso mantm o contedo exato do k-simo sinal de entrada e, por essa
razo, a sua funo kernel c(t) igual a 1 no instante de tempo k e para todos os demais
valores de t igual a zero:

1 se t = k
c(t) =
(4.4)
0 caso contrrio
A Figura 4.2 ilustra o comportamento da memria de atraso unitrio, onde k = 1.
Figura 4.2: Funo kernel da memria de atraso unitrio (k = 1).
4.1.2.2
Memria de trao exponencial
A memria de trao exponencial consiste na utilizao de integradores. Esta tcnica

agrega ao vetor de entrada a atividade da rede no instante anterior, conforme:
x(t) = (1 )x(t 1) + x(t)
(4.5)
onde 0 < 1 a constante de integrao que especifica o grau de influncia das

entradas anteriores sobre a entrada atual. Em geral, este parmetro tambm definido por
tentativa-e-erro. Considera-se a condio inicial x(0) = 0.
O mecanismo de integrao da memria de trao exponencial no perde informao
de forma abrupta a um dado ponto no tempo. Ao invs disso, a informao degrada suavemente, de acordo com o parmetro . A representao gerada pela memria de trao exponencial determinada predominantemente pelas entradas mais recentes. Logo, tambm
h um tamanho mximo de padro temporal que pode ser distinguido sem ambigidades.
58
No entanto, a definio deste tamanho implcita, realizada atravs da escolha da taxa de

integrao . A Figura 4.3 representa graficamente a memria de trao exponencial.
Memria de Trao Exponencial
x(t)
x(t)
+
1-
x(t-1)
z-1
Figura 4.3: Representao grfica de uma memria de trao exponencial.

A memria de trao exponencial realiza uma integrao temporal sobre os dados de
entrada, de tal forma que a informao armazenada decai com a passagem do tempo.
Esse comportamento melhor compreendido atravs da funo kernel c(t) apresentada
na Equao 4.6 e ilustrada na Figura 4.4 para os parmetros = 0.6, 0.7, 0.8, e, 0.9.
c(t) = (1 )t
(4.6)
Figura 4.4: Funo kernel da memria de trao exponencial para = 0.6, 0.7, 0.8, e, 0.9.
4.1.2.3
Memria Gama
A memria Gama fornece uma soluo de memria robusta e parametrizvel, que

generaliza as memrias de curto prazo de linhas de atraso e de trao exponencial. Na
representao grfica da Figura 4.5 pode-se observar unidades de memria exponencial
encadeadas, formando linhas de atraso. As memrias exponenciais so governadas pelo
parmetro , e a quantidade de memrias empregadas definida pelo parmetro .
59
Memria Gama
x(t)
z-
1-
x0(t--1)
z-1
1-
x1(t-)
1-
z-1
...
x(t)
z-1
x(t-1)
Figura 4.5: Representao grfica da memria Gama.

A Equao 4.7 define o clculo de atualizao da memria Gama. Para calcular
o valor de sada de uma memria x (t) necessrio calcular tambm xj (t) para j =
0, 1, 2, 3, . . . , 1. Consideram-se as seguintes condies iniciais: x1 (t) = x(t + 1)
para todo t 0, e xj (0) = 0 para todo j 0.
xj (t) = (1 )xj1 (t 1) + xj (t 1)
(4.7)
A funo kernel c(t) da memria Gama estabelecida na Equao 4.8 e representada

na Figura 4.6 para os parmetros = 6 e = 0.3, 0.5 e, 0.7.
t
(1 ) +1 t se t
c(t) =
(4.8)
0
caso contrrio
Como pode-se observar na Figura 4.6, a memria Gama agrega a funcionalidade das
memrias de atraso e das memrias de trao exponencial.
Figura 4.6: Funo kernel da memria Gama para = 6 e = 0.3, 0.5, e, 0.7.
4.1.2.4
Memria diferenciadora-integradora
A memria diferenciadora-integradora proposta por Moser (2004) tem como finalidade principal extrair informaes temporais implcitas do sinal de entrada original x(t),
60
realizando uma derivao e/ou integrao da informao. Matematicamente, tem-se as

seguintes equaes que governam o funcionamento da memria:
x(t) = (1 )x(t) + x(t 1)
dx(t) = x(t) x(t 1)
dx(t) = (1 )dx(t) + dx(t 1)
(4.9)
(4.10)
(4.11)
onde x(t) o vetor de entrada, x(t) representa a mdia mvel do sinal de entrada
com constante de decaimento , dx(t) representa a diferena do sinal de entrada por sua
mdia mvel, e dx(t) a sada da memria no instante t e representa a mdia mvel do
sinal dx(t) com constante de decaimento . As constantes de integrao e devem
ter o valor entre 0 e 1. Consideram-se as condies iniciais x(0) = 0 e dx(0) = 0. A
Figura 4.7 representa graficamente a memria diferenciadora-integradora.
Memria Diferenciadora-Integradora
x(t)
1-
x(t)
+1
-1
+
+
dx(t) 1-
dx(t)
-1
dx(t-1)
x(t-1)
z-1
Figura 4.7: Representao grfica da memria diferenciadora-integradora.

A funo kernel c(t) da memria diferenciadora-integradora definida na Equao 4.12
e representada graficamente na Figura 4.8:
t
c(t) = (1 ) (1 )(1 )
t1
X
( t1j j )
(4.12)
j=0
Pela Figura 4.8 pode-se perceber que a funo kernel da memria diferenciadoraintegradora tem um comportamento padro independente dos parmetros e (MOSER,
2004, p. 6365). Para os casos em que < 1, a funo kernel computa a diferena dos
sinais mais recentes pelos sinais que os antecedem, reproduzindo o clculo da diferenciao. Para os casos em que = 1, a funo kernel sempre positiva e tende a zero
em uma taxa exponencial, refletindo o comportamento da integrao. Outra observao
importante a respeito da funo kernel relativa sua rea total. Com exceo de = 1,
a integral da funo kernel sempre zero (i.e., a regio positiva tem a mesma rea que
a regio negativa). Esta propriedade faz com que se um sinal constante for aplicado
memria, a sua sada tender a zero.
A seguir faz-se uma anlise sobre a influncia dos parmetros e no funcionamento
da memria diferenciadora-integradora:
Para < 1 e = 0, a Equao 4.11 reduzida ao termo x(t) x(t 1), que
corresponde a uma subtrao do sinal de entrada x(t) por sua integrao x(t 1).
Para = 1 e < 1, a Equao 4.11 reduzida ao termo (1 )x(t) + dx(t 1),
que consiste em uma integrao do sinal de entrada.
61
Figura 4.8: Funo kernel da memria diferenciadora-integradora para = 0.0 e = 0.1;

= 0.2 e = 0.4; = 0.6 e = 0.4; = 1.0 e = 0.4.
Para e entre 0 e 1, a memria funciona como um diferenciador e um integrador.
Para = 0 e = 0, a Equao 4.11 reduzida ao termo x(t) x(t 1), que a
diferenciao de dois pontos adjacentes.
Para = 1, as integraes x(t) e dx(t) so anuladas, resultando nas equaes
dx(t) = 0 e x(t) = 0 para todo t.
4.1.2.5
Unidade de habituao
A habituao uma forma simples de aprendizado tipicamente observada em organismos biolgicos. Do ponto de vista da neurocincia, a habituao ocorre atravs de
mudanas estruturais nas conexes sinpticas entre os neurnios, de tal forma que a resposta eltrica a estmulos repetitivos e irrelevantes seja paulatinamente reduzida at ser
nula. Ou seja, a habituao funciona como um filtro de novidade para o organismo.
O fenmeno da habituao j foi utilizado como fonte de inspirao em inmeros
modelos conexionistas como uma forma de representao temporal. DeLiang Wang e
Michael Arbib (BRISTOL; PURCELL; CAREW, 2003, p. 504507) propuseram um modelo
computacional da habituao que opera da seguinte forma:
y(t) = y(t 1) + (z(t)(y(0) y(t 1)) y(t 1)x(t))
z(t) = z(t 1) + z(t 1)(z(t 1) 1)x(t)
(4.13)
(4.14)
onde x(t) o sinal de entrada, determina a taxa de recuperao da habituao, controla a velocidade de habituao, uma constante de tempo que governa a variao da
taxa de habituao e z(t) regula a recuperao da habituao. Inicialmente, quando z(t)
relativamente grande, a recuperao rpida. Em contraste, quando z(t) pequeno,
a recuperao lenta. Ou seja, medida que o processo de habituao se desenvolve,
a velocidade de recuperao da habituao se torna cada vez mais lenta, produzindo um
efeito de habituao mais duradouro (i.e., a longo prazo).
A representao grfica da unidade de habituao ilustrada na Figura 4.9.
62
Unidade de Habituao
x(t)
+1
-1
z(t)
y(0)
+1
+1
y(t)
+1
x
+1
-1
y(t-1)
z-1
Figura 4.9: Representao grfica da unidade de habituao

O comportamento da unidade de habituao parametrizvel, atravs de , e . A
seguir faz-se uma anlise sobre a influncia dos parmetros no funcionamento da unidade:
Para = 0 e 1, a Equao 4.13 reduzida ao termo y(t 1) (y(t
1)x(t)), fator de habituao, o que faz com que a resposta da unidade diminua
gradativamente do estado de no habituao at o seu ponto mximo de saturao.
Para 1 e = 0, a Equao 4.13 reduzida ao termo y(t 1) + (z(t)(y(0)
y(t 1))), fator de recuperao, o que faz com que a resposta da unidade aumente
sucessivamente de um estado qualquer at o ponto inicial de no habituao.
Para e entre 0 e 1, a unidade controlada por dois processos independentes e
conflitantes de habituao e sensibilizao4 . Se a estimulao x(t) for igual a 1, a
sada da unidade rapidamente chega ao seu ponto mximo de saturao (valor zero).
No momento que o sinal de entrada voltar a zero, a unidade lentamente volta ao seu
estado inicial de no habituao (y(0)).
Para = 0 e = 0, os fatores de recuperao e habituao so anulados, resultando
na equao y(t) = y(t 1) que corresponde ao estado inicial de no habituao.
A unidade de habituao no pode ser expressa com a convoluo por alguma funo
kernel, haja vista que o sinal de entrada x(t) no multiplicado por pesos constantes c(t),
mas pelo valor da prpria memria do instante anterior y(t 1) (vide Equao 4.13).
4.1.2.6
Discusso
As memrias de curto prazo podem ser analisadas segundo os critrios de profundidade e resoluo (MOZER, 1993, p. 5). A profundidade indica o quo distante no tempo
a memria pode representar uma informao. A resoluo determina a qualidade da informao armazenada para cada instante de tempo. A memria de atraso unitrio tem
pequena profundidade e alta resoluo, uma vez que armazena um nico valor do passado
sem perda de informao. A memria de trao exponencial tem grande profundidade e
pequena resoluo, pois representam teoricamente todos os dados do passado mas com
degradao exponencial na qualidade da informao.
4
Na unidade de habituao, a sensibilizao tem como propsito sobrepor-se aos efeitos da habituao,
caracterizando um processo denominado desabituao (BRISTOL; PURCELL; CAREW, 2003, p. 504507).
63
A memria Gama generaliza o comportamento das memrias de atraso e das memrias exponenciais, no entanto, com um elevado custo computacional atrelado e uma quantidade bem maior de parmetros que devem ser ajustados. A memria diferenciadoraintegradora realiza uma integrao e/ou diferenciao da informao temporal, eliminando toda a redundncia e a correlao espao-temporal do sinal de entrada. A unidade
de habituao tem um comportamento similar ao da memria de trao exponencial, entretanto, a integrao da informao temporal realizada tem um vis para acumulao do
sinal de entrada at seu ponto de saturao (valor zero).
A Figura 4.10 apresenta uma comparao entre as memrias de curto prazo discutidas. Como pode ser observado, as seis memrias geram ambigidades na representao,
entretanto, em instantes de tempo distintos (e.g., instantes 40 e 60 na Figura 4.10d). Provavelmente, a soluo mais robusta seja obtida pela utilizao adequada de diferentes
tipos de memrias, cada uma ressaltando uma propriedade temporal distinta.
Figura 4.10: (A) Sinal temporal de entrada x(t) aplicado s memrias de curto prazo.
(B) Resposta de uma memria de linhas de atraso de parmetro = 3. (C) Resposta de
uma memria de trao exponencial de parmetro = 0.9. (D) Resposta de uma memria
gama de parmetros = 6 e = 0.4. (E) Resposta de uma memria diferenciadoraintegradora de parmetros = 0.6 e = 0.4. (F) Resposta de uma unidade de habituao
de parmetros = 0.1 e = 0.9.
Nessa discusso sobre memrias de curto prazo torna-se relevante enfatizar a dife-
64
rena entre treinar uma rede de Kohonen com entrada esttica e com uma entrada dinmica. No primeiro caso h um particionamento do conjunto de treinamento em categorias conforme as similaridades espaciais, enquanto que no segundo existe uma separao
por uma combinao da semelhana espacial e da proximidade temporal. As redes de
Kohonen temporais aplicam as tcnicas de memria de curto prazo de variadas formas,
conforme ser descrito nas subsees seguintes.
4.1.3
Time-Delayed Self-Organizing Map (TDSOM)
O Mapa Auto-Organizvel de Linhas de Atraso (KANGAS, 1990) uma rede de Kohonen convencional que utiliza memrias de curto prazo externamente rede. Ou seja, as
memrias so aplicadas aos itens da seqncia e no rede propriamente dita, que permanece esttica. O vetor de entrada original x(t) simplesmente substitudo por uma de
suas verses temporais mostradas nas Equaes 4.3 e 4.5. Alm disso, Kangas (1990)
prope usar duas redes de Kohonen em cascata com o mecanismo de memria de curto
prazo interposto entre as duas redes. Esta noo de hierarquia atraente pois supem-se
que o desempenho global do sistema seja melhorado por meio de sucessivos refinamentos
da representao obtida por cada rede em uma camada inferior da hierarquia.
O autor reportou melhorias no reconhecimento de fonemas isolados e em testes com
sinais de voz no-segmentados, quando comparado com uma rede de Kohonen convencional. Ademais, o autor comparou os trs modelos temporais na classificao de uma
seqncia temporal de duas dimenses em forma de 8. Nesta seqncia, h um nico
ponto ambguo, localizado na coordenada (0.5; 0.5), que a rede deve diferenciar para os
instantes t = 50 e t = 150. A rede de Kohonen classifica os dois instantes com o mesmo
neurnio, pois carece de uma memria. No entanto, os trs modelos temporais elaborados
por Kangas (1990) conseguem distinguir casos de ambigidade espacial como este.
4.1.4
Differentiator-Integrator Neuron (DIN)
O Mapa Auto-Organizvel de Neurnios Diferenciadores-Integradores (MOSER, 2004)

uma rede de Kohonen convencional que aplica memrias de curto prazo entrada da
rede. Cada memria funciona de acordo com a Equao 4.11, realizando uma derivao
e/ou integrao de uma dimenso do vetor x(t). Dessa forma, o espao de entrada dos
neurnios computacionais da rede de Kohonen significativamente ampliado e melhorado. O autor reportou melhorias na segmentao de seqncias temporais com perturbaes de rudo, translao, deformao nas dimenses x e y e rotao, frente a outros
mtodos conexionistas para processamento de informao temporal.
4.1.5
Temporal Kohonen Map (TKM)
O Mapa de Kohonen Temporal (CHAPPELL; TAYLOR, 1993) aplica integradores na

sada de cada neurnio da rede. A memria de eventos passados agregada rede propriamente dita, tornando-a dinmica. A integrao calculada a partir do histrico de
ativao i (t) de cada um dos neurnios da rede. De forma similar operao realizada
pela memria de trao exponencial relatada na Seo 4.1.2, tem-se:
1
i (t) = i (t 1) kx(t) wi (t)k2
(4.15)
2
onde a profundidade da memria e deve ser um valor entre 0 e 1, x(t) o item atual
da seqncia, e wi (t) o vetor de pesos sinpticos do i-simo neurnio da rede. Cada
neurnio calcula a sua ativao no instante t, a qual decai a uma taxa dada pela constante
65
de tempo 1/(1). O neurnio que apresentar o maior nvel de atividade considerado o

vencedor (v(t) = max{i (t)}). Os pesos sinpticos so ajustados segundo Equao 3.9.
A rede TKM foi empregada com relativo sucesso no reconhecimento de palavras que
ocorrem na mesma posio de uma seqncia porm em contextos diferentes. Por exemplo, as seqncias {a-b-c-d} e {x-y-z-d} so classificadas como distintas porque a letra d
tem evidentemente diferentes contextos temporais. Contudo, a rede falha na identificao
de seqncias que exigem uma informao contextual maior e acaba por gerar ambigidades para todas as seqncias que possuam a mesma mdia mvel. Estes problemas
acontecem porque a seleo do neurnio vencedor baseada principalmente em entradas
mais recentes e a profundidade da memria limitada pelo parmetro .
4.1.6
Recurrent Self-Organizing Map (RSOM)
O Mapa Auto-Organizvel Recorrente (VARSTA; HEIKKONEN; MILLN, 1997) uma

variao da rede TKM, na qual os integradores so aplicados entrada de cada neurnio
da rede. Os dois algoritmos fornecem essencialmente o mesmo resultado, entretanto,
importante observar que a grandeza sujeita recursividade temporal na rede RSOM um
vetor x(t) wi (t), e no uma norma. Logo, a integrao realizada tambm d um indicativo da direo do erro para cada neurnio em relao aos ltimos itens da seqncia.
Essa informao explorada no ajuste dos pesos durante o processo de treinamento da
rede. Matematicamente tem-se a seguinte expresso:
yi (t) = (1 )yi (t 1) + [x(t) wi (t)]
(4.16)
O neurnio vencedor no instante t aquele que apresentar menor valor de integrao

(v(t) = min{kyi (t)k}). Os pesos sinpticos so alterados de acordo com a seguinte regra:
wi (t + 1) = wi (t) + (t)hvi (t)yi (t)
(4.17)
Em particular, quando = 1, a Equao 4.17 reduz-se a regra de aprendizagem

proposta originalmente por Kohonen (vide Eq. 3.9).
4.1.7
Contextual Self-Organizing Map (CSOM)
O Mapa Auto-Organizvel Contextual (VOEGTLIN, 2000, 2002) inclui uma espcie de

memria recorrente que codifica aspectos temporais atravs de laos de realimentao
da atividade dos neurnios. Cada neurnio da rede tem um campo receptivo definido por
dois vetores de pesos sinpticos, wix e wiy , relativos ao sinal de entrada atual x(t) e
atividade da rede no instante anterior y(t 1), respectivamente. A ativao do i-simo
neurnio da rede no instante t definido como:
Ei (t) = kx(t) wix (t)k2 + ky(t 1) wiy (t)k2
(4.18)
onde e so duas constantes de esquecimento que devem ter o valor entre 0 e 1. Em

especial, quando = 1 e = 0, o comportamento da rede passa a ser anlogo rede
de Kohonen original. O neurnio que melhor minimizar o erro de quantizao Ei (t)
escolhido como o vencedor (v(t) = min{Ei }). A informao de contexto, representada
pelo vetor y(t), derivada do erro de quantizao do instante anterior, conforme:
yi (t) = exp(Ei (t 1)),
(4.19)
66
A forma no-linear da Equao 4.19 uma sugesto do autor para garantir a estabilidade das representaes temporais geradas. A informao de contexto faz com que os
neurnios da rede se agrupem de acordo com a similaridade espacial do padro atual e
tambm conforme a classificao do padro anterior. Os pesos sinpticos so ajustados a
cada passo de tempo, a partir das seguintes regras:
wix (t + 1) = wix (t) + (t)hvi (t)[x(t) wix (t)]
wiy (t + 1) = wiy (t) + (t)hvi (t)[y(t 1) wiy (t)]
(4.20)
(4.21)
Os valores iniciais para os pesos wix so selecionados de forma aleatria entre 0 e 1,

enquanto que os valores iniciais para os pesos wiy so feitos iguais a zero.
Outras referncias para redes que usam a recorrncia como forma de agregar informao temporal podem ser obtidas em: (HAGENBUCHNER; SPERDUTI; TSOI, 2003), onde
proposto o Mapa Auto-Organizvel para Dados Estruturados (ou, SOMSD); e (STRICKERT; HAMMER, 2004), onde sugerido o Merging-SOM (ou, MSOM).
4.1.8
Sequential Activation Retention and Decay NETwork (SARDNET)
A Rede de Reteno e Decaimento de Atividade Seqencial (JAMES; MIIKKULAINEN,

1995), como o prprio nome diz, inclui um mecanismo muito simples de reteno e decaimento de atividade dos neurnios para gerar uma representao esparsa e contnua de
seqncias temporais. Por essa razo, a capacidade de representao temporal se torna
muito maior em relao aos modelos anteriores, pois a representao de uma seqncia
dada pela configurao de todos os neurnios da rede. O funcionamento do algoritmo
inclui dois novos passos: atribuio do valor 1.0 atividade do neurnio considerado
vencedor e decaimento constante na atividade de todos os neurnios da rede:
yi (t) = yi (t 1),
(4.22)
onde 0 1 a taxa de decaimento de atividade. Para que seqncias temporais repetitivas no gerem ambigidade na representao, a rede impede que o prottipo vencedor
se repita de um instante para o seguinte. Esta restrio faz com que a rede possa ter dois
prottipos representando o mesmo padro de entrada.
4.1.9
Adaptive Resource Allocating Vector Quantization (ARAVQ)
A Quantizao Vetorial por Alocao Adaptativa de Recursos (LINKER; NIKLASSON,

2000) consiste em uma rede neural convencional que aplica quantizao vetorial incremental sobre uma mdia mvel finita do sinal temporal. Apesar de no ter a propriedade
auto-organizvel das redes de Kohonen at ento discutidas, optou-se por apresent-la por
ser uma rede de aprendizado competitivo extremamente interessante. O vetor de entrada
x meramente substitudo pela mdia de uma memria de linhas de atraso:
1
x(t) =
1X
x(t j)
j=0
(4.23)
onde especifica o tamanho da janela temporal.

No h uma organizao espacial dos neurnios da rede, pois somente o neurnio
vencedor que codifica um determinado prottipo tem seus pesos sinpticos ajustados em
direo mdia mvel. Logo, o aprendizado no leva em considerao a vizinhana
do neurnio vencedor. O neurnio cujos pesos mais se aproximam da mdia mvel x
67
selecionado como o vencedor (v = min{kx(t) wi (t)k}). O aprendizado somente

realizado se o erro de quantizao for relativamente pequeno (kx(t) wv (t)k < 2 ):
wv (t + 1) = wv (t) + [x(t) wv (t)]
(4.24)
A partir da mdia mvel, so computadas duas medidas: a disperso do sinal dentro

da janela temporal (Equao 4.25) e o erro de quantizao do melhor neurnio existente
em relao janela temporal (Equao 4.26):
1
dx(t)
1X
kx(t j) x(t)k
=
j=0
(4.25)
dw(t) =
1X
min {kx(t j) wl (t)k}
j=0 1lk
(4.26)
A incluso de novos neurnios realizada se a condio dx(t) min(, dw(t) )

for satisfeita. O critrio de estabilidade, , determina o quo prximo a mdia mvel
deve estar dos valores presentes na janela temporal para justificar a criao de um novo
neurnio. O critrio de novidade, , especifica o quo diferente a mdia mvel deve
estar de todo e qualquer prottipo existente para justificar a criao de um novo neurnio.
Inicialmente, quando no h neurnios alocados, dw(t) vale + para garantir a criao
do primeiro neurnio se a varincia for menor que o critrio de estabilidade. O novo
neurnio recebe o valor da mdia mvel x calculada no instante de tempo t.
De forma resumida, esta rede usa a informao temporal somente para fins de segmentao e no para representao. Os prottipos gerados correspondem s mdias dos
padres de entrada em janelas finitas de tempo e, portanto, no contm informao de
mudana neste perodo. A segmentao no leva em conta a relevncia dos eventos para
previso, pois orientada para deteco de mudanas nas caractersticas do sinal de entrada. Portanto, o mtodo no descarta eventos raros taxando-os como rudo.
Os primeiros experimentos realizados com esta arquitetura utilizaram o rob Khepera
em um labirinto com comportamento de seguir paredes" (LINKER; NIKLASSON, 2000).
Os oito sinais sensoriais de distncia do rob, tipicamente ruidosos, foram submetidos
rede neural enquanto o rob explorava o ambiente. A segmentao obtida foi gerada em
tempo real. Surgiram prottipos que representaram as configuraes bsicas encontradas
em labirintos, como corredor", bifurcao", curva para direita", etc.
4.1.10
Resumo
A Tabela 4.1 resume as caractersticas principais de cada rede temporal apresentada:

Topologia determina se os neurnios so organizados de forma hierrquica ou no.
Como o modelo ARAVQ um tipo de rede competitiva que no utiliza vizinhana
(i.e., no baseada em mapas auto-organizveis), no h uma organizao espacial
dos prottipos e, por esse motivo, a sua respectiva coluna no foi preenchida;
Posio indica se a memria de curto prazo foi aplicada externa ou internamente
rede. No primeiro caso, a memria aplicada sobre os itens da seqncia temporal e
no rede propriamente dita, que permanece esttica. No segundo caso, a memria
includa na rede, tornando-a dinmica;
68
Representao define se o tipo de representao temporal gerada de origem simblica (local) ou de origem numrica (esparsa); e
Natureza da memria especifica o mecanismo de memria de curto prazo empregado, a saber: (i) linha de atrasos de tempo; (ii) integradores; (iii) diferenciadores;
ou (iv) laos de realimentao (recorrncia).
Tabela 4.1: Resumo das redes neurais auto-organizveis temporais

Modelo
Topologia
Posio
Representao
Natureza da memria
TDSOM1
No-hierrquica
Externa
Local
TDSOM2
No-hierrquica
Externa
Local
TDSOM3
Hierrquica
Interna
Local
DIN
No-hierrquica
Externa
Local
TKM
No-hierrquica
Interna
Local
RSOM
No-hierrquica
Interna
Local
CSOM
No-hierrquica
Interna
Local
SOMSD
No-hierrquica
Interna
Local
MSOM
No-hierrquica
Interna
Local
SARDNET
No-hierrquica
Interna
Esparsa
ARAVQ
Interna
Local
Integradores aplicados na seqncia

temporal x(t)
Linha de atrasos de tempo aplicada
na seqncia temporal x(t)
Integradores aplicados na sada da
primeira rede (SOM1 )
Diferenciadores e integradores aplicados na seqncia temporal x(t)
Integradores aplicados na sada de
cada neurnio
Integradores aplicados na entrada
de cada neurnio
Recorrncia na atividade de todos
os neurnios da rede
Recorrncia somente na atividade
do neurnio vencedor
Recorrncia na atividade de todos
os neurnios da rede
Decaimento exponencial na atividade de todos os neurnios.
Mdia mvel finita baseada em uma
janela temporal fixa
4.2
As redes neurais auto-organizveis construtivas
A proposta original da rede de Kohonen baseada em uma arquitetura neural previamente definida e extremamente rgida, contendo o mesmo arranjo geomtrico e nmero de
neurnios durante todo o processo de treinamento. Em muitos casos, pouca ou nenhuma
informao est disponvel acerca do tamanho e da distribuio do conjunto de amostras
do espao de entrada X . Logo, a definio de uma arquitetura de rede apropriada um
fator que depende, em grande parte, da experincia emprica do projetista.
Uma alternativa que resolve o problema suscitado o mtodo de aprendizado construtivo (FRITZKE, 1996, 1997b, 1997c), em que no necessita-se definir a priori a arquitetura
da rede. Os mtodos construtivos se enquadram em duas categorias principais, conforme
o mecanismo utilizado para incluir e remover neurnios e conexes (ALPAYDIN, 1994):
1. Iniciar com uma arquitetura de rede de dimenso elevada e paulatinamente eliminar neurnios e conexes desnecessrias no intuito de aumentar a capacidade de
69
generalizao da rede e reduzir os requisitos computacionais; ou

2. Iniciar com uma arquitetura de rede bastante simples e ir incrementando-a conforme
necessrio, geralmente, quando o treinamento com as unidades existentes no reduz
o erro abaixo do valor desejado.
Em sua grande maioria, a pesquisa se concentra em tcnicas hbridas, partindo de
uma rede de dimenso reduzida e, ao longo do processo de treinamento e de acordo com
o problema em questo, realizando a incluso e remoo de neurnios e conexes na
estrutura da rede, at que uma soluo adequada seja apresentada.
O termo aprendizado construtivo muitas vezes confundido com o termo aprendizado
incremental. O aprendizado incremental caracteriza-se pela adaptao dos pesos sinpticos de uma rede neural aps a apresentao de cada padro de treinamento. Esse tipo
de aprendizado o oposto do aprendizado em lote, cuja alterao da rede se d somente
aps a apresentao de todo o conjunto de treinamento. Portanto, o aprendizado incremental e o aprendizado em lote so apenas tcnicas de treinamento e podem ser utilizados
juntamente com o aprendizado construtivo (HAYKIN, 2001).
As principais redes neurais artificiais construtivas so analisadas a seguir.
4.2.1
Growing Cell Structures (GCS)
Uma das primeiras redes construtivas foi elaborada por Fritzke (1992) e consiste em
um arranjo bidimensional de neurnios conectados entre si na forma de tringulos. A
rede limitada a um nmero mximo de simplexos k-dimensionais, onde k um nmero
inteiro escolhido antes de iniciar o treinamento. Por exemplo, se k = 1 o simplexo uma
linha, se k = 2 um tringulo, se k = 3 um tetraedro, e assim por diante. Posteriormente, Fritzke (1994) sugeriu uma generalizao de sua proposta original com arranjos
baseados em hipertetraedros, o que promove uma melhor recuperao da estrutura do
espao de entrada X , no entanto, acaba por dificultar a sua visualizao.
Ao longo do processo de treinamento, padres so apresentados rede, modificaes
nos pesos das conexes sinpticas entre os neurnios so realizadas e uma informao
de erro de quantizao vetorial acumulada em cada neurnio. Essa informao de erro
acumulado til para decidir onde devem ser includas novas unidades, ou seja, em que
posio do arranjo deve-se adicionar novas unidades para diminuir o erro de quantizao.
O procedimento de insero de novos neurnios realizado se o nmero de padres
apresentados rede for mltiplo de um parmetro . A nova unidade inserida entre o
neurnio com o maior erro acumulado e o seu vizinho mais distante. Depois dessa primeira unidade, o resto do simplexo completado de tal forma que a rede resultante estar
formada exclusivamente por simplexos k-dimensionais. A rede continua a se adaptar e
a crescer at um determinado critrio ser satisfeito, que pode ser o tamanho da rede, em
nmero de neurnios ou conexes, ou alguma medida de erro mnimo aceitvel.
Bruske e Sommer (1995) sugeriram uma extenso da rede GCS denominada Growing
Dynamical Cell Structure (GDCS). A principal diferena que a insero de novos neurnios somente realizada para assegurar a preservao da estrutura topolgica da rede, e
no para igualar o valor previsto do erro de cada neurnio. Alm disso, a rede simplifica as estruturas internas que eram necessrias para manter os simplexos. Em (AHRNS;
BRUSKE; SOMMER, 1995) uma rede GDCS modificada aplicada com sucesso em um
problema de controle clssico da Inteligncia Computacional, chamado Pole Balancing.
Burzevski e Mohan (1996) propuseram uma rede hierrquica denominada Hierarchical Growing Cell Structures (HiGS), na qual submapas hierrquicos so criados de forma
70
gradual e conforme a complexidade do problema. A capacidade de deteco de agrupamentos e adaptao distribuio dos dados melhorada significativamente em relao a
proposta original da rede de Fritzke. Anos mais tarde, Hodge e Austin (2001) elaboraram
uma nova rede hierrquica chamada Tree Growing Cell Structures (TreeGCS), na qual a
remoo de conexes eventualmente causa a criao de uma hierarquia de submapas.
4.2.2
Incremental Grid Growing (IGG)
O modelo Incremental Grid Growing (BLACKMORE, 1995; BLACKMORE; MIIKKULAINEN, 1995) foi proposto com o intuito de suplantar a caracterstica indesejvel do Growing
Cell Structures de, eventualmente, gerar arranjos em um espao de elevada dimenso. O
processo de treinamento similar rede de Kohonen tradicional, porm, iniciado com
uma rede de apenas quatro neurnios conectados entre si formando um quadrado.
Novas unidades so adicionadas apenas nos limites externos do mapa (i.e., na zona
perimetral), perto daqueles neurnios com maior erro acumulado, atravs de uma heurstica de crescimento. A nova unidade conectada diretamente ao neurnio de fronteira do
qual derivou. Ao longo do treinamento, conexes entre neurnios adjacentes da rede so
inseridas e removidas conforme a distncia euclidiana entre o vetor de pesos sinpticos.
Os procedimentos de insero e remoo de unidades e conexes permite que a rede
mantenha uma estrutura retangular. A estrutura gerada assegura uma fcil visualizao
das amostras do vetor de entrada x, entretanto, nem sempre a melhor para recuperar a
estrutura intrnseca do espao de entrada X .
Alahakoon, Halgamuge e Srinivasan (2000) propuseram um mtodo de inicializao
dos pesos sinpticos dos neurnios que so inseridos no arranjo. Este novo procedimento
simplifica e reduz a possibilidade de gerar mapas inapropriados em relao distribuio
dos dados. O resultado uma rede denominada Growing Self-Organizing Map (GSOM)
que tem maior flexibilidade para adaptar-se distribuio dos dados.
Merkl e colaboradores (2003) elaboraram um modelo hierrquico chamado Adaptive
Hierarchical Incremental Grid Growing (AHIGG), onde cada camada individual da arquitetura uma variao da rede IGG. Por essa razo, cada mapa individual pode crescer
de forma irregular e, eventualmente, remover conexes entre unidades vizinhas. Dessa
forma, as camadas dos nveis inferiores da hierarquia representam com maior fidelidade
a distribuio dos dados, o que facilita a explorao visual.
4.2.3
Growing Grid (GG)
O modelo Growing Grid (FRITZKE, 1995a) bastante similar s duas propostas anteriores. No entanto, a partir de um arranjo com quatro neurnios iniciais (i.e., uma grade
2 2), so inseridas linhas e colunas de novos neurnios no arranjo, promovendo uma
busca automtica da dimenso ideal para a rede. Assim, a topologia da rede estritamente
retangular, o que torna a sua visualizao extremamente simples.
O algoritmo opera em duas fases distintas. Durante a fase de crescimento uma rede
retangular vai sendo formada pela incluso de linhas e colunas no arranjo at um determinado critrio ser satisfeito. Valores estatsticos acumulados so usados para determinar
onde novas unidades devem ser inseridas. Diferentemente da rede de Kohonen tradicional, o parmetro da largura da vizinhana, , um valor relativamente baixo e constante
no tempo. Apesar disso, medida que a rede cresce, a frao de todas as unidades que so
adaptadas junto com o neurnio considerado vencedor diminui. Na fase de convergncia
o tamanho da rede no mais alterado e a taxa de aprendizagem, , sofre um decaimento
exponencial para realizar um ajuste fino da rede, permitindo quantificar regularidades
71
estatsticas do espao de entrada X de forma mais acurada.

Dittenbach, Merkl e Rauber (2000) propuseram uma extenso ao modelo GG, conhecido por Growing Hierarchical Self-Organizing Map (GHSOM). Este modelo usa uma
estrutura hierrquica de mltiplas camadas, onde cada uma delas composta por um nmero independente de redes neurais com algoritmo similar ao GG. O primeiro nvel
composto por apenas uma rede. Para cada unidade da primeira rede, pode ser criada uma
sub-rede no prximo nvel da hierarquia. Esse princpio aplicado de forma recursiva aos
outros nveis da rede. Dessa maneira, os nveis superiores representam informao mais
genrica, enquanto que os inferiores representam a informao com maior detalhe.
4.2.4
Growing Neural Gas (GNG)
O consagrado modelo Growing Neural Gas (FRITZKE, 1995b) uma verso construtiva do mtodo Neural Gas (NG) proposto por Martinetz (1991), tendo surgido principalmente como resultado da combinao do mecanismo de crescimento do modelo Growing
Cell Structures (FRITZKE, 1992) e do mecanismo de gerao de topologia da tcnica Competitive Hebbian Learning (CHL) (MARTINETZ, 1993; MARTINETZ; SCHULTEN, 1994).
O treinamento da rede iniciado com apenas dois neurnios conectados entre si. Para
cada padro apresentado rede, as duas unidades mais prximas so selecionadas conforme uma funo de distncia euclidiana. Se, porventura, no existir uma conexo entre
elas, o algoritmo se encarrega de cri-la. A unidade vencedora juntamente com a sua
regio de vizinhana sofrem um processo de adaptao de pesos sinpticos.
Cada conexo da rede tem associada a si um contador que controla a sua idade. Esse
valor somente zerado caso os neurnios que ela conecte sejam escolhidos como vencedores. Se o contador de idade atingir certo valor a conexo eliminada. Portanto, a idia
priorizar as conexes novas em detrimento de antigas. Esta tcnica visa atualizar a cada
instante a topologia da rede, mantendo apenas conexes que sejam teis.
Novas unidades vo sendo inseridas e removidas sucessivamente ao longo do processo
de treinamento, conforme a taxa de crescimento dada pelo parmetro . Para determinar
em que posio do arranjo dever ser adicionada uma nova unidade, informaes relacionadas ao erro de quantizao so coletadas durante o processo de adaptao. A nova
unidade inserida entre o neurnio com o maior erro acumulado e um de seus vizinhos, e
as variveis de erro so localmente redistribudas. A rede continua a se adaptar e a crescer
at um determinado critrio de parada ser satisfeito (e.g., tamanho mximo da rede).
O arranjo da rede gerado ao final do processo de treinamento chamado de triangulao induzida de Delaunay (FRITZKE, 1995b), pois preserva de maneira tima a topologia
da massa de dados de entrada. A rede capaz de recuperar a estrutura de dados bastante complexos, inclusive com diferentes dimenses e regies desconexas. No entanto,
a convergncia demasiadamente lenta pois novos neurnios somente so inseridos na
rede em interaes mltiplas de uma constante de tempo predefinida (). Marsland, Shapiro e Nehmzow (2002) propuseram uma nova abordagem chamada Grow When Required
(GWR), na qual neurnios so inseridos rede de forma automtica. Assim, a rede cresce
rapidamente quando novos dados so apresentados a ela mas interrompe o processo de
crescimento uma vez que tenha convergido para uma soluo estvel.
Uma das maiores deficincias do mtodo GNG a inabilidade de se adaptar rapidamente a dados com distribuies que mudam rapidamente (i.e., dados no-estacionrios).
Fritzke (1997a) sugere associar um fator de utilidade a cada neurnio da rede. A idia
remover as unidades que contribuem pouco para a diminuio do erro de quantizao e tentar adicionar novas unidades em posies mais significativas para o sucesso do
72
algoritmo. Trabalhos similares foram realizados por Lang e Warwick (2002), que desenvolveram a rede Plastic Self-Organizing Map (PSOM), e por Hung e Wermter (2005), que
elaboraram a rede hierrquica Dynamic Adaptive Self-Organising Hybrid Model (DASH).
4.2.5
Adaptive Resonance Theory (ART)
Em meados dos anos 80, Grossberg estabeleceu um novo princpio de auto-organizao

conhecido como teoria da ressonncia adaptativa. Basicamente, a teoria prope autoorganizar padres de entrada em categorias de reconhecimento, mantendo equilbrio entre
as propriedades de plasticidade e de estabilidade do sistema. A plasticidade a caracterstica que a rede possui de aprender um novo padro, em qualquer tempo de sua operao, sem perder o conhecido adquirido anteriormente. A estabilidade responsvel pela
habilidade da rede em agrupar padres similares na mesma categoria de reconhecimento.
De acordo com Carpenter e Grossberg (2003), a teoria da ressonncia adaptativa envolve uma camada de reconhecimento de baixo para cima (bottom-up) e uma camada
generativa de cima para baixo (top-down). No momento em que o padro de entrada e
o padro realimentado aprendido coincidirem, ocorre um estado dinmico denominado
ressonncia adaptativa (i.e., amplificao e prolongamento da atividade neural).
A partir desta teoria, Grossberg juntamente com Carpenter propuseram um conjunto
de redes neurais artificiais para o reconhecimento de padres. Atualmente, existe uma
famlia de arquiteturas ART, que cobrem desde o processamento de padres binrios
(ART1 ) e contnuos (ART2 e ART3 ), passando por uma abordagem difusa da informao (Fuzzy ART), at a integrao de diversos mdulos para possibilitar um esquema de
aprendizado no-supervisionado e supervisionado simultaneamente (ARTMAP e Fuzzy
ARTMAP) (GUAZZELLI, 1992). Em todas estas arquiteturas existem algumas caractersticas bsicas comuns, como o aprendizado construtivo controlado por um parmetro de
vigilncia que determina a resoluo do processo de clusterizao (granularidade).
Nas redes da famlia ART, dois subsistemas complementares interagem entre si para
o processamento dos padres de entrada: subsistema atencional e subsistema de orientao. O subsistema atencional responsvel pelo processamento de padres de entrada
familiares, estabelecendo respostas e representaes internas mais precisas de tais padres. O subsistema de orientao trata dos padres estranhos, resetando o subsistema
atencional quando tais padres so apresentados rede.
4.2.6
Resumo
A Tabela 4.2 resume as caractersticas principais de cada rede construtiva discutida:

Arranjo define a topologia da rede neural (e.g., linear, simplexos, retangular);
Dimenso especifica como a rede realiza a projeo do espao de entrada X para
o espao de sada A. Redes com dimensionalidade fixa so geralmente usadas
para visualizao de dados. Redes com dimensionalidade varivel so comumente
empregadas em tarefas de agrupamento e classificao de padres;
Modo de insero define o mecanismo de crescimento da rede adotado. Em geral, a
insero baseada em uma informao de erro de quantizao acumulada em cada
neurnio da rede, sendo realizada segundo uma taxa de crescimento predefinida; e
Modo de poda determina o mecanismo de reduo da rede adotado. As redes neurais construtivas que no possuem um mtodo de reduo e/ou eliminao de neurnios tm a respectiva coluna marcada com um hfen (sinal grfico -).
73
Tabela 4.2: Resumo das redes neurais auto-organizveis construtivas

Modelo
Arranjo
Dimenso Modo de Insero
GCS
Simplexos
Fixa
IGG
Retangular
Fixa
GG
Retangular
Fixa
GNG
Grafo
Varivel
GWR
Grafo
Varivel
ART
Linear
Varivel
4.3
Constante ; um nico neurnio prximo zona de maior

erro mdio acumulado
Constante ; N -neurnios
prximos zona de fronteira
com maior erro acumulado
Constante ; uma linha ou coluna prxima zona de maior
erro mdio acumulado
Constante ; um nico neurnio prximo zona de maior
erro mdio acumulado
Automtico, atravs de um limiar de atividade e de um contador de disparo
Automtico, atravs de um parmetro de vigilncia
Modo de Poda
-
Automtico, atravs de um limiar de desconexo

-
Automtico, atravs de um
contador de idade
Automtico, atravs de um
contador de idade
-
O presente captulo no teve a pretenso de ser completo ou exaustivo, pelo contrrio, teve como meta descrever de forma breve e de fcil entendimento os conceitos, as
propriedades, limitaes e variaes das principais abordagens temporais e construtivas
das redes neurais artificiais auto-organizveis. O resultado do apanhado realizado neste
captulo foi sintetizado atravs das Tabelas 4.1 e 4.2. A anlise qualitativa realizada se
baseou nos comentrios dos respectivos autores, em observaes deduzidas a partir das
caractersticas e peculiaridades de cada modelo neural e, principalmente, em simulaes
computacionais desenvolvidas a partir de uma implementao prpria.
At a data corrente, no h na literatura especializada da rea algoritmos de aprendizado de natureza auto-organizvel que integrem a representao temporal e o aprendizado
construtivo. Neste trabalho, admite-se a hiptese de trabalho de que estas trs caractersticas, quando combinadas adequadamente em uma rede neural artificial, viabilizam a resoluo de tarefas robticas de horizonte infinito e de dimenso espao-temporal. Desse
modo, o desenvolvimento de um novo modelo de rede neural artificial que contemple a
auto-organizao, a representao temporal e o aprendizado construtivo extremamente
desejvel e constitui a principal meta a ser atingida no presente trabalho.
74
PROPOSTA DE REDE NEURAL ARTIFICIAL
Neste captulo prope-se um modelo de rede neural auto-organizvel, temporal e construtivo. A rede denominada GTSOM (do acrnimo em ingls para Growing Temporal
Self-Organizing Map). Em um primeiro momento, d-se uma viso geral da estrutura da
rede que est sendo proposta. Logo aps, detalha-se o seu funcionamento, com especial
nfase nos processos de incluso, remoo e adaptao de neurnios e conexes. Em seguida, realiza-se uma anlise sobre os seus parmetros e variveis e argumenta-se sobre
sua plausibilidade biolgica. Por fim, conclui-se com um resumo e uma discusso final.
5.1
Introduo
O presente trabalho prope o desenvolvimento de um novo modelo de rede neural artificial voltado a aplicaes da rea da robtica, em especial a tarefas de natureza espaotemporal e de horizonte infinito. Este modelo apresenta trs caractersticas que o tornam
nico e que foram tomadas como guia para a sua concepo: auto-organizao, representao temporal e aprendizado construtivo. A seguir faz-se uma breve anlise de como
estas trs caractersticas esto relacionadas com o funcionamento da rede neural proposta:
O processo de aprendizagem auto-organizada consiste em modificar repetidamente
e de forma no-supervisionada os pesos sinpticos de todas as conexes da rede
em resposta a padres de entrada espao-temporais. O algoritmo de aprendizagem ocorre, basicamente, atravs de mecanismos de competio global, cooperao local e auto-amplificao seletiva. Aps o treinamento, os neurnios da rede se
tornam seletivamente sintonizados a vrios padres de entrada espao-temporais;
O tempo includo na operao da rede neural por meio de uma memria de curto
prazo. A memria de curto prazo, doravante denominada indistintamente de memria ou unidade de memorizao, aplicada externamente sobre os itens da seqncia temporal e no rede propriamente dita, que permanece esttica1 . A memria
utilizada uma sugesto de Moser (2004) e tem como funo realizar uma derivao e/ou integrao da informao de entrada; e
A construo automtica da arquitetura da rede neural realizada de acordo com
uma unidade de habituao. A unidade de habituao regula tanto o crescimento
1
Kangas (1990) originariamente props trs modelos neurais para representar aspectos seqenciais de
dados. Os modelos propostos por Kangas (1990) usam memrias de linhas de atraso de tempo e de trao
exponencial. De forma inovadora, as memrias de curto prazo so aplicadas externamente rede.
75
quanto poda do nmero de neurnios da rede neural2 . A unidade de habituao

utilizada uma verso simplificada e discreta do modelo de Habituao de DeLiang
Wang e Michael Arbib (BRISTOL; PURCELL; CAREW, 2003, p. 504507).
5.2
Estrutura geral da rede neural
A rede neural proposta faz parte de uma famlia de modelos conexionistas autoorganizveis, cuja essncia construir um mapeamento no-linear de um espao de
entrada contnuo Z para um espao de sada discreto A. O espao Z formado por um
subespao de entrada sensorial X e um subespao de entrada contextual Y, tal que:
Z = X Y = {(x1 , y1 ), (x2 , y2 ), (x3 , y3 ), . . .} = {z1 , z2 , z3 , . . .}
(5.1)
O mapeamento no-linear realizado de forma adaptativa e mantm relaes de

similaridade entre os dois espaos:
: Z A, (x X , y Y) ((x, y) A)
(5.2)
O subespao de entrada sensorial X tem uma topologia definida por certas relaes
mtricas entre vetores x X . Do subespao X conhece-se apenas um conjunto finito de
amostras organizadas conforme uma densidade de probabilidade p(x):
X = {x1 , x2 , x3 , . . .}
(5.3)
A dimenso do subespao X representada por m. Um padro de entrada x Rm

X define um ponto em um espao euclidiano. De forma mais especfica, x representa um
vetor de dimenso m-por-1, cujos elementos so todos nmeros reais:
x(t) = [x1 (t), x2 (t), . . . , xm (t)]T
(5.4)
onde t especifica o instante de tempo discreto em que a amostra foi observada e o ndice
superior T indica a transposio matricial.
O subespao de entrada contextual Y gerado a partir da memria de curto prazo :
: x y, (x X ) ((x) Y)
(5.5)
A principal finalidade de uma memria de curto prazo extrair informaes temporais implcitas de um sinal de entrada original. Dessa forma, a sada da rede neural se
torna uma funo do tempo e tarefas que envolvam o processamento de padres espaotemporais se tornam passveis de serem realizadas pela rede neural. Basicamente, h dois
aspectos a serem considerados quanto incorporao de uma memria de curto prazo no
projeto de uma rede neural: a posio e a natureza da memria. A posio indica se a
memria aplicada externa ou internamente rede neural. A natureza diz respeito ao
mecanismo de funcionamento da memria, que pode ser por linha de atrasos de tempo,
diferenciadores, integradores e/ou laos de realimentao (recorrncia).
2
Marsland, Nehmzow e Shapiro (1999) originariamente propuseram usar uma unidade de habituao
simplificada para controlar somente o crescimento de uma rede neural auto-organizvel. Mais especificamente, o modelo de Habituao de Stanley foi acoplado a uma rede de Kohonen convencional. A
rede HSOM (Habituating Self-Organizing Map), como denominada em (MARSLAND; NEHMZOW; SHAPIRO,
2005), mostrou-se adequada em vrias aplicaes robticas de deteco de novidades.
76
Na rede neural em questo, a memria aplicada sobre os itens da seqncia temporal e no rede propriamente dita, que permanece esttica. A memria utilizada
uma sugesto de Moser (2004) e tem como funo realizar uma derivao e/ou integrao da informao contida em cada dimenso do vetor x(t), dependendo dos parmetros
escolhidos3 . Matematicamente, a memria tem o seu funcionamento regido por:
x(t) = (1 )x(t) + x(t 1)
y(t) = (1 )(x(t) x(t 1)) + y(t 1)
(5.6)
(5.7)
onde e so duas constantes de integrao que devem ter o valor entre 0 e 1, e y a

sada da memria no instante de tempo t. Consideram-se as condies iniciais x(0) = 0
e y(0) = 0. A representao grfica das Equaes 5.6 e 5.7 ilustrada na Figura 5.1.
Unidade de Memorizao ()
x(t)
1-
x(t)
+1
-1
+
+
1-
y(t)
-1
x(t-1)
y(t-1)
z-1
Figura 5.1: Representao grfica da unidade de memorizao.

O subespao de entrada contextual Y tem uma topologia definida por certas relaes
mtricas entre vetores y Y, tal que yi = (xi ), i X . A dimenso de Y denotada
por m. A representao de um vetor y Rm Y de dimenso m-por-1 dada por:
Y = {y1 , y2 , y3 , . . .}
y(t) = [y1 (t), y2 (t), . . . , ym (t)]T
(5.8)
(5.9)
Para fins de simplificao, considera-se o vetor z R2m Z de dimenso 2m-por-1

como o padro espao-temporal aplicado camada de entrada da rede neural, tal que:
z(t) = [x1 (t), x2 (t), . . . , xm (t), y1 (t), y2 (t), . . . , ym (t)]T
(5.10)
O espao de sada discreto A definido pelo arranjo geomtrico de um conjunto de

neurnios. O nmero de neurnios que compe o arranjo no predeterminado pelo projetista da rede e nem constante durante o processo de aprendizagem. Pelo contrrio, a
rede capaz de inserir e remover neurnios de forma automtica, de modo que continuamente esteja adaptada distribuio dos dados de entrada. O conjunto de neurnios da
rede neural representado por A e limitado a um nmero mximo de neurnios nmax :
A = {n1 , n2 , n3 , . . .}
(5.11)
Cada neurnio da rede est totalmente conectado s m unidades de entrada x atravs

do vetor de pesos sinpticos wx Rm e s m unidades de contexto y por meio de termos
3
Para maiores detalhes sobre a memria de curto prazo de Lcio Moser (2004), consulte a Seo 4.1.2.4.
77
ponderados wy Rm . Para fins de simplificao, considera-se o vetor wiz R2m de

dimenso 2m-por-1 como o vetor de pesos sinpticos espao-temporal de um neurnio i:
y
y
y
x
x
x
(t), wi2
(t), . . . , wim
(t)]
wiz (t) = [wi1
(t), wi2
(t), . . . , wim
(t), wi1
|
{z
} |
{z
}
i = 1, 2, . . . , n
wiy (t)
wix (t)
(5.12)
onde
e
tm a mesma dimenso do vetor de entrada x (i.e., igual a m) e n o
nmero de neurnios da rede no instante de tempo t, i.e, n = |A(t)|.
Alm de pesos de entrada wx e de contexto wy , cada neurnio est conectado a uma
unidade de habituao atravs de um escalar wh R1 , tal que wih = (Si ), i A.
wix
wiy
: S wh , (S Rn ) ((S) Rn )
(5.13)
A unidade de habituao uma verso simplificada e discreta do modelo de Habituao de Wang e Arbib (BRISTOL; PURCELL; CAREW, 2003, p. 504507)4 . No modelo neural
proposto, a unidade de habituao serve de referncia para tomada de deciso estratgica
nos procedimentos de crescimento e de poda de neurnios. Matematicamente, a unidade
de habituao de um neurnio de ndice i tem o funcionamento regido pela Equao 5.14:
wih (t) = wih (t 1) + ((1 wih (t 1)) wih (t 1)Si (t))
i = 1, 2, . . . , n (5.14)
onde define a taxa de recuperao da habituao, controla a velocidade de habituao, governa a variao da taxa de habituao e Si R1 um escalar que representa a
estimulao externa recebida pelo i-simo neurnio. A estimulao externa Si (t) no instante t a prpria atividade do i-simo neurnio do instante anterior t 1 (vide Eq. 5.31).
A Equao 5.14 derivada a partir da Equao 4.13 fixando z(t) = 1, para eliminar os
efeitos de longo prazo da unidade de habituao, e considerando wih (0) = 1.0, para especificar o estado inicial da unidade de habituao no valor de 1.0. A representao grfica
da Equao 5.14 ilustrada na Figura 5.2.
Unidade de Habituao ()
S(t)
+1
-1
+1
wh(t)
+
+1
+
-1
h
w (t-1)
z-1
Figura 5.2: Representao grfica da unidade de habituao.

Cada neurnio da rede pode estar conectado a quaisquer outros neurnios, com exceo de si mesmo. Assim, as conexes entre os neurnios podem criar tanto malhas
regulares como diversas figuras geomtricas e, por essa razo, uma maior capacidade de
4
Para maiores informaes a respeito da unidade de habituao de DeLiang Wang e Michael Arbib (BRISTOL; PURCELL; CAREW, 2003, p. 504507), consulte a Seo 4.1.2.5.
78
aprendizado conferida rede neural. O conjunto de conexes sinpticas da rede neural

representado por C A A e limitado a um nmero mximo de conexes cmax :
C = {(n1 , n2 ), (n1 , n3 ), (n2 , n3 ), . . .}
(5.15)
As conexes entre neurnios so simtricas e valoradas, tal que:

(ni , nj ) C (nj , ni ) C
idade : (ni , nj ) N1 {0}
(5.16)
(5.17)
onde N1 {0} representa a idade da conexo. Esse valor tem como propsito determinar
o tempo de vida til da conexo. Caso o valor exceda o limiar imax a conexo removida.
A vizinhana topolgica de um neurnio i representada por Ni A. No tempo t, a
vizinhana topolgica Ni vale:
Ni = {nj A|(ni , nj ) C}
(5.18)
A Figura 5.3 representa de forma esquemtica os elementos bsicos da rede neural. A

rede tem uma estrutura de propagao para frente com apenas uma camada computacional
de neurnios. Cada neurnio est totalmente conectado ao vetor de entrada x, ao vetor
de contexto y e a uma fonte externa S, por meio de termos ponderados w. A unidade de
memorizao extrai informaes temporais implcitas do vetor de entrada x e tem papel
fundamental no processamento de padres espao-temporais. A unidade de habituao
funciona como um filtro de novidade para a rede e tem papel fundamental nos processos
de crescimento e de poda de neurnios. Cada neurnio pode estar conectado a quaisquer
outros neurnios no arranjo, com exceo de si mesmo. Cada conexo sinptica tem certa
idade que controla o seu tempo de vida restante. A representao gerada pela rede
espacial e temporal, uma vez que a sada se refere tanto ao padro de entrada x quanto
informao de contexto y gerada pela memria . A sada da rede um vetor binrio
com todos os bits em zero, exceto o bit que corresponde ao neurnio vencedor.
S(t)
(.)
wi h
wix
x(t)
ni
0/1
wiy
z(t)
idadeij
(.)
wj x
y(t)
wjy
wj
nj
Figura 5.3: Elementos bsicos da rede neural proposta.
0/1
79
5.3
Funcionamento da rede neural
O algoritmo de aprendizagem responsvel pela formao do mapa auto-organizvel

de natureza auto-organizada. O objetivo de um algoritmo auto-organizado descobrir
padres significativos ou caractersticas nos dados de entrada sem o auxlio de um professor (i.e., de forma no-supervisionada) (HAYKIN, 2001, p. 429). Para tanto, o algoritmo
deve dispor de um conjunto de regras de natureza local5 , que o capacitam a aprender a
calcular um mapeamento de entrada-sada com propriedades desejveis especficas.
A Figura 5.4 ilustra como a rede neural proposta implementa o mapeamento (vide
Eq. 5.2). Os crculos cheios indicam o vetor de pesos dos neurnios da rede. As linhas
representam conexes sinpticas entre os neurnios. O subespao de entrada sensorial X
tem uma distribuio uniforme de dados, cuja forma geomtrica se assemelha ao nmero
8. O subespao de entrada contextual Y formado a partir da memria de curto prazo .
O espao de sada discreto A gerado a partir da aplicao do algoritmo proposto.
Figura 5.4: Mapeamento implementado pela rede neural proposta.

No exemplo da Figura 5.4, as amostras do espao de entrada so submetidos rede
neural em uma determinada ordem, de tal maneira que a seqncia possa ser interpretada
como a trajetria de um rob realizada dentro de um ambiente6 . Desta forma, existe
um nico ponto de ambigidade na seqncia temporal, posicionado no centro do 8 e
indicado pela letra x. Em uma distribuio de 200 pontos igualmente espaados, os dois
instantes em que a seqncia passa por x so t = 50 e t = 150. A rede neural resultante
da aplicao do algoritmo proposto consegue identificar casos de ambigidade espacial
como este, pois classifica os dois instantes de tempo com dois neurnios diferentes.
A organizao bsica da arquitetura da rede neural proposta envolve dois componentes principais: o subsistema de atuao e o subsistema de controle. O subsistema de
atuao tem como finalidades compor o padro espao-temporal segundo o vetor de entrada x e o vetor de contexto y; e agrupar os padres espao-temporais em categorias de
reconhecimento. O subsistema de controle formado por um conjunto de mecanismos
que governam o crescimento e a poda de neurnios e conexes sinpticas da rede neural.
Basicamente, cinco processos esto envolvidos na formao do mapa auto-organizvel:
Competio global. Para cada padro espao-temporal z(t), os neurnios computacionais da rede neural competem entre si para serem ativados. A competio
5
O termo local refere-se restrio de localidade, no sentido de que a computao realizada por um
neurnio influenciada apenas por aqueles neurnios que esto em contato fsico com ele.
6
Para maiores detalhes sobre o experimento computacional do oito, consulte a Seo 6.3.1.
80
consiste em identificar o neurnio cujo vetor de pesos sinpticos melhor represente

o padro de entrada, em termos de uma medida de distncia euclidiana. O reconhecimento no depende apenas do valor presente da entrada x(t), mas tambm de
valores passados, que esto armazenados na memria de contexto y(t).
Cooperao local. O neurnio vencedor e seus vizinhos no mapa discreto interagem por meio de uma funo denominada funo vizinhana. Como a rede no tem
uma estrutura fixa (e.g., retangular, triangular, hexagonal ou outras), a funo vizinhana de um determinado neurnio meramente define que neurnios so vizinhos
imediatos a ele no instante de tempo t.
Adaptao. O ajuste do vetor de pesos sinpticos confinado vizinhana do
neurnio considerado vencedor da competio, de tal forma que o neurnio vencedor juntamente com sua vizinhana se tornem ainda mais especializados no reconhecimento do ltimo padro espao-temporal apresentado rede. Como a rede
no-supervisionada, o vetor de pesos de um dado neurnio deve ser modificado
apenas como funo do estmulo de entrada, tal que seja possvel extrair algum tipo
de regularidade espao-temporal presente no espao de entrada contnuo Z.
Crescimento. O procedimento de insero de novos neurnios e/ou conexes realizado de forma automtica e em qualquer instante de tempo, sem que isto obrigue
a reinicializao do processo de aprendizagem. Esse procedimento retira o nus do
projetista em ter que especificar a priori as dimenses da rede neural e capacita a
rede para lidar com uma distribuio de dados no-estacionrios.
Poda. O procedimento de remoo de neurnios e/ou conexes realizado de forma
automtica e visa manter a estrutura da rede em conformidade com a distribuio de
dados de entrada. Esse procedimento remove neurnios e conexes que no sejam
teis sob o ponto de vista da preciso e preservao da topologia da rede.
Nas subsees seguintes descrito em maiores detalhes cada um dos processos envolvidos na formao do mapa auto-organizvel. Os processos de competio global e
cooperao local esto em concordncia com os princpios de auto-organizao apresentados em (HAYKIN, 2001, p. 430432). A presena de redundncia na informao contida
nos padres de entrada, no mencionada explicitamente na descrio do algoritmo, necessria para a aprendizagem visto que ela prov o conhecimento a ser extrado pela rede.
importante salientar que o algoritmo opera em apenas uma nica fase, denominada fase
de aprendizagem. Ou seja, no existe uma fase distinta entre treinamento e atuao.
5.3.1
Processo de inicializao
O processo de inicializao consiste em criar apenas dois neurnios no espao de

sada discreto A. Com o intuito de no impor nenhuma organizao prvia rede, so
atribudos valores pequenos e aleatrios aos pesos sinpticos dos dois neurnios, n1 e
n2 . Normalmente, esses valores so restritos ao intervalo fechado [0, 1]. O conjunto de
conexes sinpticas C da rede definido como vazio.
A(0) = {n1 , n2 }
C(0) =
(5.19)
(5.20)
81
5.3.2
Processo de competio
O processo de competio pode ser modelado de forma discreta ou contnua. Na verso discreta, o processo implementado com a ajuda de um juiz externo, que decide qual
neurnio considerado o vencedor, adotando algum critrio baseado numa mtrica de
distncia entre o vetor de entrada e o vetor de pesos dos neurnios. Na verso contnua,
o processo autnomo, envolvendo conexes realimentadoras para produzir excitao
central e inibio lateral, cujo comportamento dado por um sistema de equaes diferenciais. Por questes de simplicidade, utiliza-se a verso discreta de operao.
Para cada padro apresentado rede, as duas unidades mais prximas so selecionadas
conforme uma funo de distncia euclidiana. Como se deseja preservar a topologia do
espao de entrada, o padro apresentado rede no deve ser normalizado. Com isso,
o processo de escolha dos vencedores somente deve ser baseado na distncia euclidiana
entre o padro z e o vetor de pesos sinpticos wz de cada neurnio da rede.
v(t) = argmin{kz(t) wiz (t)k}
i = 1, 2, . . . , n
(5.21)
s(t) = argmin{kz(t) wiz (t)k}
i 6= v,
(5.22)
i = 1, 2, . . . , n
onde v e s so os ndices que representam o primeiro e o segundo neurnios vencedores,

respectivamente, para o padro z apresentado rede no instante de tempo t, dentre todos
os n neurnios presentes na rede. A norma euclidiana kk entre um par de vetores m-por-1
definida como segue:
v
uX
p
u m
z
z
z
z
T
kz(t) wi (t)k = [z(t) wi (t)] [z(t) wi (t)] = t [zj (t) wij
(t)]2
(5.23)
j=1
onde T denota o vetor transposto. Assume-se que os componentes dos vetores z(t) e
wiz (t) so independentes (i.e., no-correlacionados).
A similaridade entre os vetores z e wiz definida como o recproco da distncia euclidiana. Quanto mais prximo entre si estiverem os seus elementos individuais, menor
ser a distncia euclidiana e, portanto, maior ser a similaridade entre eles. A distncia
euclidiana est relacionada com a projeo do vetor z sobre o vetor wiz . Para vetores
normalizados, quanto menor a distncia euclidiana kzwiz k maior ser o produto interno
entre os vetores z e wiz . Matematicamente, o produto interno entre os vetores z e wiz
definido como segue:
(z, wiz )
=z
wiz
m
X
z
zj wij
(5.24)
j=1
5.3.3
Processo de cooperao
O processo de cooperao consiste em determinar a vizinhana topolgica centrada

no neurnio vencedor v. Como a rede no tem uma estrutura fixa, a vizinhana de um
neurnio de ndice i simplesmente o conjunto de neurnios que tem conexo sinptica
direta com ele no instante de tempo t, i.e., Ni (vide Eq. 5.18). A funo vizinhana do
neurnio vencedor v definida por hvi , tal que:

1 se ni Nv
hvi (t) =
(5.25)
0 caso contrrio
82
Contrria a inmeras consideraes biolgicas, a implicao da funo vizinhana

descrita na Equao 5.25 que todos os neurnios localizados dentro da vizinhana topolgica Nv disparam a uma mesma taxa, e que as interaes entre estes neurnios so
independentes de suas distncias laterais ao neurnio vencedor v. No obstante, essa
funo utilizada devido ao seu baixo custo computacional e facilidade de codificao.
O neurnio vencedor v e seus vizinhos no mapa discreto interagem de tal forma que
neurnios prximos tendem a reconhecer caractersticas similares. medida que dois
padres se aproximam no espao de entrada contnuo Z, a localizao dos respectivos
neurnios vencedores fica cada vez mais prxima no arranjo discreto A. A essa caracterstica d-se o nome de propriedade de preservao de topologia.
5.3.4
Processo de adaptao
Uma vez determinado o neurnio vencedor v e a sua vizinhana topolgica Nv , ocorre

o processo de adaptao dos pesos sinpticos. Este processo basicamente faz com que
o neurnio vencedor v e os seus vizinhos imediatos se tornem mais especializados no
reconhecimento do ltimo padro de entrada z apresentado rede. Matematicamente, a
regra de aprendizagem pode ser calculada a partir das Equaes 5.26 e 5.27:
wvz (t + 1) = wvz (t) + v (t)[z(t) wvz ]
wiz (t + 1) = wiz (t) + n (t)hvi (t)[z(t) wiz ]
i = 1, 2, . . . , n
(5.26)
(5.27)
onde 0 < v < 1 a taxa de aprendizagem do neurnio vencedor v, 0 < n < 1 a taxa
de aprendizagem da vizinhana topolgica Nv centrada no neurnio vencedor v, hvi a
funo vizinhana (vide Eq. 5.25), e n o nmero de neurnios da rede no instante t.
As variveis v e n so dinmicas e no fazem parte dos parmetros livres da rede
neural. Da mesma forma que Berglund e Sitte (2006) calcularam o valor da taxa de
aprendizagem para uma rede de Kohonen convencional, o valor de v computado a cada
instante de tempo conforme a Equao 5.28:
kz(t) wvz (t)k
d(t)
d(t) = max (kz(t) wvz (t)k, d(t 1))
v (t) =
(5.28)
(5.29)
onde d(t) especifica uma distncia euclidiana normalizada entre o vetor de entrada z(t)
e o vetor de pesos sinpticos wvz (t) do neurnio vencedor v. Considera-se a condio
inicial d(0) = kz(0) wvz (0)k. proporo que a distncia kz(t) wvz (t)k se torna
demasiadamente grande, o valor calculado para a taxa de aprendizagem v (t) tende a
1, de modo que seja realizado um rpido ajuste na rede. No momento que a distncia
kz(t) wvz (t)k se torna pequena, o valor computado para v (t) sofre um decaimento
exponencial, tal que seja realizado um ajuste fino da rede. Ou seja, kz(t) wvz (t)k
d(t) v (t) 1. Em contrapartida, kz(t) wvz (t)k d(t) v (t) 0.
As duas variveis v e n controlam a velocidade com que os pesos sinpticos so
modificados e, portanto, especificam a velocidade com que a rede adquire um novo conhecimento. Considera-se para efeitos de ordenamento e convergncia que n seja pelo
menos uma ordem de magnitude menor que v , tal que n 1:
v
(5.30)
10
medida que o processo de aprendizagem se desenvolve, cada neurnio tem sua
sinapse de habituao, wh , ajustada. A modificao da fora da conexo wh realizada
n =
83
conforme a unidade de habituao (vide Eq. 5.14). A magnitude do ajuste da sinapse

wih (t) de um neurnio de ndice i est associada ao valor recebido por sua estimulao
externa Si (t). A estimulao externa Si (t) aplicada sinapse wih (t) dada por:

exp(kz(t) wiz (t)k) se i = v ou ni Nv
Si (t) =
(5.31)
0
caso contrrio
A sinapse de habituao do neurnio vencedor v e da sua vizinhana topolgica Nv
so atualizadas em direo ao ponto de mxima habituao (valor zero) e, por essa razo,
o valor da estimulao externa S deve ser diferente de zero. Por questes de simplicidade, optou-se por utilizar o valor da prpria atividade dos neurnios, tal que S vale
exp(kz(t) wiz (t)k). J as sinapses de habituao dos demais neurnios da rede neural
sofrem um processo de sensibilizao e tendem ao estado inicial de no habituao (valor
1), haja vista que o valor da estimulao externa S feito igual a 0. Para maiores detalhes
sobre o comportamento da unidade de habituao frente estimulao externa, consulte
as propriedades da unidade de habituao na Seo 4.1.2.5.
A Figura 5.5 esclarece como a rede neural realiza o ajuste de pesos sinpticos.
Figura 5.5: Ajuste de pesos sinpticos na rede neural proposta. Os nmeros reais indicam
os valores das sinapses de habituao de cada neurnio da rede. esquerda, configurao
da rede antes da atualizao sinptica. No centro, um padro z apresentado rede e o
primeiro e segundo neurnios vencedores, v e s, respectivamente, so selecionados.
direita, os vetores de pesos wz do neurnio vencedor v e da vizinhana topolgica Nv so
ajustados em direo ao padro z, as sinapses de habituao wh do neurnio vencedor v e
da vizinhana topolgica Nv so atualizadas em direo ao ponto de mximo habituao
(valor zero) e as sinapses de habituao dos demais neurnios da rede so modificadas
rumo ao estado inicial de no habituao (valor 1).
5.3.5
Processo de incluso e remoo de neurnios
O processo de incluso de neurnios ocorre quando o erro de quantizao da rede

neural for demasiadamente alto e o padro de entrada for relativamente novo para a rede.
Sendo assim, a rede cresce rapidamente quando novos dados so apresentados a ela mas
interrompe automaticamente o processo de crescimento uma vez que tenha convergido
para uma soluo estvel. Matematicamente, a incluso de um neurnio no mapa de
caractersticas ocorre se a seguinte condio for satisfeita:

A(t + 1) =
A(t) {nr } se exp(kz(t) wvz (t)k) < e wvh (t) <

A(t)
caso contrrio
(5.32)
84
onde r o ndice da nova unidade a ser adicionada na rede, 0 < < 1 o critrio de
plasticidade e 0 < < 1 o critrio de novidade.
O critrio de plasticidade, , define a mxima similaridade admissvel para criar um
novo neurnio. A medida de mxima similaridade determina a granularidade da rede
(especificidade generalidade) e codificada por uma funo exponencial fixada numa
escala de 0 a 1 (i.e, exp(0) = 1 e exp() = 0). Se o vetor de pesos sinpticos wvz (t)
do neurnio vencedor casar suficientemente bem com o padro z(t), a atividade instantnea do neurnio vencedor ser prxima de 1; caso contrrio, a atividade instantnea do
neurnio vencedor ser prxima de zero. Dessa forma, quanto maior o valor estabelecido
para o parmetro de plasticidade, mais especfico ser o critrio de plasticidade e uma
quantidade maior de neurnios ser adicionada na rede. Ou seja, 1 kAk nmax .
O critrio de novidade, , determina uma medida de novidade baseada no valor da
sinapse de habituao do neurnio vencedor. A medida de novidade fixada numa escala
de 0 a 1 e, comumente, tem um valor bem pequeno e prximo de zero, i.e., 1.
proporo que um neurnio vence a competio ou participa da vizinhana topolgica do
neurnio vencedor, o peso de sua conexo sinptica wh tende a zero, que o ponto mximo de saturao; caso contrrio, tende a 1, que o estado de no habituao. Portanto,
o grau de novidade de um padro proporcional ao peso da conexo wvh do neurnio
vencedor. Dessa forma, quanto maior o valor fixado para o parmetro de novidade, mais
rapidamente os neurnios sero inseridos na rede.
O teste da Equao 5.32 pode ser interpretado da seguinte maneira: a criao de um
novo neurnio somente justificada se a similaridade entre o neurnio vencedor e o padro de entrada for menor que o critrio de plasticidade e, ao mesmo tempo, o padro de
entrada no for to novo como indicado pelo critrio de novidade. Como regra geral, a
rede cresce at um determinado critrio de parada ser satisfeito, que pode ser o tamanho
da rede em nmero de neurnios (nmax ) ou de conexes sinpticas (cmax ).
Se o critrio de plasticidade, , e o critrio de novidade, , forem satisfeitos uma nova
unidade de ndice r inserida entre o neurnio vencedor v e o padro espao-temporal z.
A Figura 5.6 ilustra o procedimento de insero de um novo neurnio na rede neural.
Figura 5.6: Insero de um novo neurnio na rede neural proposta. esquerda, configurao da rede antes da insero. No centro, um padro espao-temporal z apresentado
rede e o primeiro e segundo neurnios vencedores, v e s, respectivamente, so selecionados. direita, um novo neurnio de ndice r adicionado na rede entre o neurnio
vencedor v e o padro espao-temporal z e a conexo existente entre v e s realocada.
O vetor de pesos sinpticos wrz da nova unidade r simplesmente interpolado a partir
do vetor de pesos sinpticos wvz da unidade vencedora v e do padro espao-temporal z.
85
Inserindo o neurnio r entre o neurnio vencedor e o padro de entrada faz com a rede
tenha uma convergncia mais estvel, em relao incluso do neurnio r exatamente
sobre o padro de entrada que ocasionou o erro. O peso da conexo sinptica wrh da nova
unidade r feito igual a 1, ou seja, a unidade r inicializada no estado de no habituao:
wvz (t) + z(t)
2
wrh (t + 1) = 1.0
wrz (t + 1) =
(5.33)
(5.34)
A nova unidade r conectada s duas unidades vencedoras v e s e a conexo sinptica

existente entre as unidades vencedoras v e s removida:
C(t + 1) = C(t) {(nr , nv ), (nr , ns )}
C(t + 1) = C(t)/{(nv , ns )}
(5.35)
(5.36)
A remoo de um neurnio pode ocorrer em duas situaes7 : (i) quando o neurnio

no possuir nenhuma conexo sinptica (Ni = ); ou (ii) em virtude de o neurnio estar posicionado em uma regio de baixssima densidade probabilstica, isto , quando for
considerado no representativo da distribuio de pontos no problema (wih (t) 1). Matematicamente, um neurnio i eliminado da rede se a seguinte expresso for satisfeita:

A(t)/{ni } se Ni = ou wih (t) 1
A(t + 1) =
(5.37)
A(t)
caso contrrio
No segundo caso descrito, um neurnio considerado suprfluo caso no vena a competio por um longo perodo de tempo. Esse perodo determinado de forma implcita
atravs das taxas de sensibilizao e de habituao (Eq. 5.14). Considera-se um neurnio suprfluo se o valor de sua sinapse de habituao estiver prximo de 1. A idia por
trs do mecanismo de remoo por habituao punir os neurnios que nunca vencem a
competio e capacitar a rede para lidar com uma distribuio de dados no-estacionrios.
A Figura 5.7 exemplifica como a rede neural proposta realiza a remoo de neurnios.
Figura 5.7: Remoo de neurnios na rede neural proposta. Os nmeros reais indicam os
valores das sinapses de habituao de cada neurnio. esquerda, configurao da rede
antes da remoo de neurnios. No centro, os neurnios que tm o valor da sinapse de
habituao prximo de 1 so removidos da rede (e.g., wih 0.95). direita, os neurnios
que no possuem nenhuma conexo sinptica so removidos da rede (i.e., Ni = ).
7
O neurnio r somente elegvel para eliminao no instante de tempo subseqente ao qual foi inserido.
86
5.3.6
Processo de incluso, adaptao e remoo de arestas
O processo de incluso, adaptao e remoo de arestas similar tcnica utilizada no

mtodo de Aprendizado Hebbiano Competitivo (MARTINETZ, 1993; MARTINETZ; SCHULTEN, 1994). Depois de encontrar as duas unidades mais prximas ao padro de entrada
apresentado rede, v e s, respectivamente, o algoritmo verifica a existncia de uma conexo entre elas e se, por ventura, a conexo no existir o algoritmo se encarrega de cri-la:

C(t) {(nv , ns )} se ns 3 Nv
C(t + 1) =
(5.38)
C(t)
caso contrrio
Cada conexo sinptica da rede tem associada a si um contador que controla a sua
idade. Em outras palavras, o contador de idade de uma conexo regula a sua utilidade para
a rede neural. A cada passo de tempo, o valor do contador dos neurnios da vizinhana do
vencedor incrementado em uma unidade e esse valor somente zerado caso os neurnios
que a conexo conecte sejam considerados os vencedores. A idade da conexo entre o
neurnio vencedor v e um neurnio de ndice i atualizada da seguinte forma:
se i = s
0
idadevi (t) + 1 se i 6= s e ni Nv
idadevi (t + 1) =
(5.39)
idadevi (t)
caso contrrio
Uma conexo da rede neural eliminada se o seu contador de idade atingir certo
limiar (imax ). Portanto, a idia priorizar as conexes novas em detrimento de antigas.
Esta tcnica visa atualizar a cada instante a estrutura da rede, mantendo apenas conexes
que sejam teis sob o ponto de vista da preciso e preservao da topologia da rede:

C(t)/{(ni , nj )} se idadeij (t) > imax
(5.40)
C(t + 1) =
C(t)
caso contrrio
A Figura 5.8 elucida como a rede neural proposta faz o ajuste de conexes sinpticas.
Figura 5.8: Insero, atualizao e remoo de conexes sinpticas na rede neural proposta. Os nmeros inteiros representam os contadores de idade de cada conexo sinptica
da rede. esquerda, configurao da rede em um instante de tempo arbitrrio. No centro,
uma nova conexo adicionada na rede entre os neurnios vencedores v e s e o contador
de idade dessa conexo feito igual a zero. Ademais, as idades de todas as conexes
existentes entre o neurnio vencedor v e a sua vizinhana topolgica Nv , exceto neurnio
s, so incrementadas em uma unidade. direita, as conexes sinpticas que possuem
uma idade maior que o limiar imax so removidas da rede (e.g, imax = 50).
87
5.4
Resumo do algoritmo
Para entender melhor o mtodo proposto, no Algoritmo 5.1 pode-se observar, de uma
forma geral, todos os passos envolvidos na aprendizagem da rede neural.
Algoritmo 5.1: Algoritmo da rede neural proposta.
1 Determinar os parmetros nmax , cmax , imax , , , , , , e ;
2 Inicializar o arranjo A com apenas dois neurnios, n1 e n2 (Eq. 5.19);
3 Inicializar o conjunto de conexes sinpticas C (Eq. 5.20);
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
enquanto critrio de parada no for satisfeito faa

Escolher um padro x conforme a distribuio uniforme p(x);
Compor um padro espao-temporal z com o uso de uma memria (Eq. 5.10);
Localizar dois neurnios, v e s, mais prximos ao padro z (Eqs. 5.21 e 5.22);
Criar e inicializar uma conexo entre os neurnios v e s (Eqs. 5.38 e 5.39);
para cada neurnio i no arranjo A faa
Ajustar a sinapse de habituao wih de acordo com Si (Eqs. 5.14 e 5.31);
fim
se critrio de plasticidade e critrio de novidade forem satisfeitos ento
Adicionar uma nova unidade de ndice r rede (Eq. 5.32);
Interpolar o vetor de pesos sinpticos wrz de r a partir de wvz e z (Eq. 5.33);
Atribuir ao peso da conexo sinptica wrh de r o valor 1.0 (Eq. 5.34);
Inserir conexes de r at v e de r at s (Eq. 5.35);
Remover conexo original entre v e s (Eq. 5.36);
seno
Ajustar o vetor de pesos sinpticos de v (Eqs. 5.26, 5.28 e 5.29);
para cada neurnio i vizinho de v faa
Ajustar o vetor de pesos sinpticos de i (Eqs. 5.27, 5.30 e 5.25);
Incrementar em uma unidade a idade da conexo entre v e i (Eq. 5.39);
fim
fim
Remover conexes sinpticas com idade maior que imax (Eq. 5.40);
Remover neurnios isolados e suprfluos (Eq. 5.37);
fim
5.5
Notao matemtica
A seguir, apresenta-se uma listagem completa da notao matemtica adotada no presente trabalho. Por questes de convenincia, a notao matemtica est sintetizada em
trs tabelas. A Tabela 5.1 apresenta um resumo das funes da rede neural proposta.
Tabela 5.1: Resumo das funes da rede neural proposta.
Funo
Argumento
Imagem
Descrio
Equao
Figura
(.)
(.)
(.)
(x, y)
x
S
(wx , wy )
y
wh
Funo do mapa de caractersticas

Funo da unidade de memorizao
Funo da unidade de habituao
5.2
5.5
5.13
5.4
5.1
5.2
88
A Tabela 5.2 apresenta um resumo das variveis da rede neural proposta.

Tabela 5.2: Resumo das variveis da rede neural proposta.
Varivel
Descrio
Equao
Z
X Z
YZ
A
C AA
x(t) Rm X
y(t) Rm Y
z(t) R2m Z
wix (t) Rm
wiy (t) Rm
wiz (t) R2m
wih (t) [0, 1]
Si (t) R1
Ni A
hij (t) {0, 1}
idadeij (t) N1 {0}
nv (t) A
ns (t) A
nr (t) A
v (t) [0, 1]
n (t) [0, 1]
d(t)
Espao de entrada contnuo (padres espao-temporais)

Subespao de entrada sensorial (padres espaciais)
Subespao de entrada contextual (padres temporais)
Espao de sada discreto (neurnios)
Conjunto de conexes sinpticas da rede (arestas)
Vetor de entrada
Vetor de contexto
Vetor espao-temporal
Vetor de pesos de entrada do i-simo neurnio
Vetor de pesos de contexto do i-simo neurnio
Vetor de pesos espao-temporal do i-simo neurnio
Peso sinptico de habituao do i-simo neurnio
Estimulao externa recebida pelo i-simo neurnio
Vizinhana topolgica centrada no i-simo neurnio
Funo vizinhana centrada no i-simo neurnio
Idade da conexo sinptica entre os neurnios i e j
Neurnio de ndice v considerado primeiro vencedor
Neurnio de ndice s considerado segundo vencedor
Neurnio de ndice r adicionado rede neural
Taxa de aprendizagem do neurnio vencedor v
Taxa de aprendizagem da vizinhana topolgica Nv
Distncia euclidiana normalizada entre z(t) e wvz (t)
5.1
5.3
5.8
5.11
5.15
5.4
5.9
5.10
5.12
5.12
5.12
5.14
5.31
5.18
5.25
5.17
5.21
5.22
5.32
5.28
5.30
5.29
A Tabela 5.3 apresenta um resumo dos parmetros livres da rede neural proposta.
Tabela 5.3: Resumo dos parmetros da rede neural proposta.
Parmetro
Descrio
Equao
Valor padro
nmax
cmax
imax
Nmero mximo de neurnios (nodos) permitido

Nmero mximo de conexes (arestas) permitido
Limiar de idade aceitvel para as conexes (arestas)
Critrio de plasticidade
Critrio de novidade
Constante de integrao da unidade de memria
Constante de integrao da unidade de memria
Taxa de sensibilizao da unidade de habituao
Taxa de habituao da unidade de habituao
Razo entre as taxas de habituao e sensibilizao
5.11, 5.32
5.15, 5.35, 5.38
5.40
5.32
5.32
5.6
5.7
5.14
5.14
5.14
300
900
50
0.7
0.1
0.7
0.7
0.01
0.9
0.7
5.6
Anlise paramtrica
O comportamento da unidade de memorizao parametrizvel, atravs de e

(vide Eqs. 5.6 e 5.7). De acordo com os valores definidos para e , a unidade realiza
89
uma derivao e/ou integrao da informao de entrada. Por um lado, determina a

taxa de subtrao do sinal de entrada por sua integrao, isto , funciona como um
diferenciador. Por outro, especifica o grau de influncia das entradas anteriores sobre
a entrada atual, ou seja, funciona como um integrador. Na Seo 4.1.2.4 feita uma
anlise sobre a influncia dos parmetros e no funcionamento da memria.
O comportamento da unidade de habituao parametrizvel, atravs de , e
(vide Eq. 5.14). Conforme os valores estipulados para os parmetros , e , a unidade
realiza uma habituao e/ou sensibilizao da informao de entrada. Por um lado, o
parmetro determina a taxa de recuperao da habituao, isto , a velocidade com que
a unidade se aproxima do estado de no habituao (valor 1). Por outro lado, o parmetro
define a taxa de habituao, ou seja, a velocidade com que a unidade se aproxima do
ponto mximo de saturao (valor zero). Na Seo 4.1.2.5 feita uma anlise sobre a
influncia dos parmetros , e no funcionamento da unidade.
O critrio de plasticidade, , e o critrio de novidade, , esto relacionados com a insero de novos neurnios na rede neural (vide Eq. 5.32). Na prtica, o valor do parmetro
determina o momento em que novos neurnios so adicionados rede e o valor do parmetro afeta diretamente o nmero de neurnios inseridos na rede. Utilizando = 0,
nenhum neurnio ser criado. Com prximo do valor 1, os neurnios criados no sero
representativos e a rede neural ter dificuldades em criar generalizaes. Os valores ideais para os parmetros e esto relacionados com a distncia intra-cluster, que define
a distncia entre os padres contidos dentro de um mesmo agrupamento, e a distncia
inter-cluster, que define a distncia entre os centrides de cada agrupamento. A distncia intra-cluster deve ser pequena o suficiente para obter padres similares no mesmo
agrupamento. A distncia inter-cluster deve ser suficientemente grande para separar os
agrupamentos criados pela rede neural. De forma geral, a busca por valores adequados
guiada por tentativa-e-erro, aps alguma experimentao inicial com os dados e a rede.
A relao entre as distncias intra-cluster e inter-cluster pode ser observada atravs
de tcnicas de partio. A idia de uma tcnica de partio dividir o espao de dados
em regies por meio de algum critrio geomtrico. Cada regio representa ento uma categoria ou classe da distribuio de dados de entrada. A classificao de um determinado
vetor de entrada simplesmente dada pela regio ocupada. A forma mais tradicional de
partio o diagrama de Voronoi, que consiste em um mtodo de extrema utilidade em
reconhecimento de padres. O diagrama de Voronoi comumente gerado a partir do mtodo da triangulao de Delaunay e tem como propsito delimitar as reas de categorias
ou classes numa representao geomtrica de suas distribuies. A Figura 5.9 representa
graficamente uma triangulao de Delaunay inicial e o diagrama de Voronoi resultante.
Figura 5.9: esquerda a triangulao de Delaunay e direita o diagrama de Voronoi

resultante para uma distribuio arbitrria de 20 pontos.
90
Durante a aprendizagem da rede neural proposta, cada vez que um vetor de pesos
modificado, a regio de Voronoi daquele neurnio e dos seus vizinhos imediatos tambm
varia. Como conseqncia da correo de pesos de um neurnio, vrios padres podem
passar de uma regio de Voronoi para outra adjacente. A estabilidade na representao da
rede ocorre quando as classes de Voronoi convergem para uma soluo estvel.
5.7
Inspirao biolgica
Uma discusso pormenorizada sobre as potenciais implicaes biolgicas da rede neural proposta no , obviamente, o objetivo do presente trabalho. Contudo, considerando-se
que parte dos avanos na rea da inteligncia artificial fruto da tentativa de se desvendar os segredos do sistema nervoso, no custa mencionar, ainda que de forma superficial,
algumas intrigantes relaes do modelo neural com evidncias biolgicas modernas.
importante observar aqui que, ainda que exista uma inspirao biolgica, no h qualquer
pretenso na modelagem exata de propriedades neurais. Com efeito, pode-se ver que a
proposta do algoritmo viola suposies usualmente feitas para redes neurais biolgicas.
A rede neural proposta faz parte de uma famlia de modelos conexionistas autoorganizveis, incorporando todos os mecanismos que so bsicos para a auto-organizao:
competio, cooperao e auto-amplificao. O conceito de auto-organizao de sistemas tem suas primeiras formulaes matemticas propostas nos primeiros anos do advento da Ciberntica8 (ASHBY, 1970). Ross Ashby citado como sendo provavelmente a
primeira pessoa a descrever o sistema nervoso como auto-organizado. Em seu livro intitulado Design for a Brain: The Origin of Adaptive Behavior, Ashby (1960) preocupou-se
com a noo bsica de que o comportamento adaptativo no inato mas, ao invs disso,
aprendido, e que por meio do aprendizado o comportamento de um animal ou sistema
muda em geral para melhor. O livro destaca que aspectos dinmicos de um organismo
tm forte analogia com o conceito de estabilidade de uma mquina. Hoje em dia, h muitas teorias que apiam a hiptese de auto-organizao do sistema nervoso (HAYKIN, 2001,
p. 430432). A questo bsica consiste em compreender como a ao de vrios elementos
simples (neurnios), em uma configurao inicial desordenada, d margem ao surgimento
espontneo (sem regras pr-programadas) de padres coerentes de comportamento.
A rede neural proposta tem como fonte de inspirao idias derivadas dos mapas corticais do crebro. Com o atual conhecimento da neurocincia possvel observar neurnios localmente ajustados em inmeras regies do sistema nervoso, isto , neurnios que
somente so ativados por uma faixa especfica de valores de estmulo. Como exemplo,
pode-se citar as clulas de orientao do crtex visual, que respondem seletivamente a
estmulos que so locais tanto na posio da retina quanto no ngulo da orientao do
objeto (LENT, 2002, p. 293). Em geral, populaes de clulas seletivas so arranjadas
em mapas corticais e a faixa de valores que ativa cada clula costuma ser restrita sua
posio no mapa. Erwin e colaboradores (1995) comprovaram que um mapa de caractersticas auto-organizvel capaz de explicar a formao de mapas computacionais no
crtex visual primrio do macaco. Admitindo-se certas suposies, os pesquisadores demonstraram que a aprendizagem hebbiana resulta em padres espaciais de orientao e
dominncia ocular que so notavelmente similares queles encontrados no macaco.
8
A palavra Ciberntica (do grego, kybernetik, piloto, no sentido utilizado por Plato para qualificar
a ao da alma) foi cunhada por Norbert Wiener em 1948 como o nome de uma nova cincia que visava
compreenso dos fenmenos naturais e artificiais atravs do estudo dos processos de comunicao e
controle nos seres vivos, nas mquinas e nos processos sociais (BITTENCOURT, 2001, p. 40).
91
A unidade de memria de curto prazo pode ser considerada biologicamente plausvel

se for levada em considerao a possvel influncia dos diferentes neurotransmissores sobre a atividade de um neurnio (MOSER, 2004, p. 67). Sabe-se que cada neurotransmissor
presente no sistema nervoso pode desencadear reaes de curta ou longa durao, ou seja,
a informao computada em um neurnio no se resume aos estmulos eltricos de cada
instante, mas tambm depende de processos qumicos que ocorrem no interior do neurnio e que carregam informao do passado. Traando um paralelo com as Equaes 5.6
e 5.7, seriam suficientes apenas dois tipos de neurotransmissores para implementar a unidade de memria sugerida por Moser (2004). O efeito de dois neurotransmissores sobre
um neurnio biolgico similar s duas integraes temporais sobre a memria.
A unidade de habituao busca inspirao no fenmeno natural da habituao. A
habituao uma forma simples de aprendizado tipicamente observada em organismos
biolgicos. Do ponto de vista da neurocincia, a habituao ocorre atravs de mudanas
estruturais nas conexes sinpticas entre os neurnios, de tal forma que a resposta eltrica a estmulos repetitivos e irrelevantes seja paulatinamente reduzida at ser nula. Ou
seja, a habituao funciona como um filtro de novidade para o organismo. Como exemplo, pode-se citar os movimentos reflexos defensivos da aplsia9 (lebre-do-mar) (LENT,
2002, p. 149). medida que o sifo da aplsia estimulado, verifica-se um movimento de
retirada de sua brnquia. No entanto, com a repetio, o animal se habitua a esse estmulo
inofensivo, e acaba por no retrair mais a sua brnquia.
5.8
Discusso
Neste captulo, a estrutura dos elementos e a dinmica dos processos da rede neural
proposta foram apresentados e discutidos. Nesse momento, talvez seja apropriado refletir
sobre estes elementos e questionar sobre as razes que levaram sua adoo na rede neural. A discusso conduzida considerando os seguintes itens: unidade de memorizao,
unidade de habituao e mecanismo de crescimento e poda de neurnios e conexes.
A formulao da rede neural proposta baseada no processamento de dados espaotemporais, isto , dados que esto relacionados de forma espacial e que possuem uma
correlao temporal entre si. Em geral, h duas formas de incluir o tempo na operao
de uma rede neural: atravs de laos de realimentao (recorrncia) ou por meio de memrias de curto prazo. Hoje em dia, j foi comprovado que redes neurais artificiais que
utilizam laos de realimentao no relacionam dados mais distantes que dez instantes de
tempo, o que limita consideravelmente a gama de problemas que pode ser solucionada
por tais redes (HOCHREITER; SCHMIDHUBER, 1997). Por essa razo, a memria de curto
prazo a pea-chave para incorporar o tempo no funcionamento de uma rede neural. No
presente trabalho, a memria de curto prazo aplicada sobre o sinal de entrada e no
rede propriamente dita, que permanece esttica. Basicamente, a memria captura a informao temporal contida no sinal de entrada e o neurnio insere esta informao em seus
prprios pesos sinpticos. Desta forma, existe uma evidente separao de papis: a rede
neural responsvel pela no-linearidade e a memria de curto prazo responsvel pelo
tempo.
9
A aplsia um animal invertebrado, similar a um caramujo marinho sem concha e muito abundante
nas costas do Pacfico Norte, que j foi amplamente utilizada para estudos de plasticidade sinptica em pesquisas cientficas. A aplsia possui um sistema nervoso simples e um repertrio comportamental reduzido,
como movimentos de encolhimento da cauda e da cabea, e a retirada da brnquia e do sifo. O sifo uma
protruso carnosa, situada acima da brnquia, que expele gua do mar e restos alimentares.
92
A memria de curto prazo utilizada uma sugesto de Moser (2004) e tem como funo realizar uma derivao e/ou integrao da informao de entrada. A diferenciao
til para eliminao da redundncia e da correlao espao-temporal, pois indica as mudanas do sinal ocorridas no passado, e a integrao til para eliminao de rudo, pois
representa o passado sob a forma de uma mdia. O funcionamento da memria exige
poucos recursos computacionais e pode ser de grande valia em problemas onde a soluo
ideal depende de uma representao baseada em mudanas e no em valores absolutos da
entrada. Segundo Moser (2004, p. 93), problemas temporais que possuem alta correlao temporal (e.g., sinais sensoriais de robs), com ou sem rudo, provavelmente podem
se aproveitar das informaes geradas pela memria. Em contrapartida, problemas com
baixa correlao temporal ou simblicos (e.g., cadeias de DNA) provavelmente se agravariam com o uso da memria. Em geral, a memria apresenta grande potencialidade
na rea da robtica, onde necessrio tratar diretamente o fluxo sensrio-motor de robs
de forma rpida e econmica. A representao gerada pela memria pode ser valiosa
para previso e identificao de eventos importantes, tais como: aproximao de objetos,
mudanas entre corredor e curvas, bifurcaes e ocluso de objetos.
At recentemente, a definio apropriada das dimenses de uma rede neural para uma
determinada tarefa geralmente envolvia a experincia do projetista em implementar procedimentos de tentativa-e-erro. A construo automtica da arquitetura da rede est se
tornando parte do processo de treinamento, atravs da explorao mais eficiente de informaes disponveis durante a aprendizagem. As redes neurais construtivas representam
uma das alternativas existentes para esta problemtica. No entanto, um dos pontos crticos determinar quando e em que posio uma nova unidade deve ser inserida. Na
maioria das redes construtivas, a velocidade de insero controlada por um parmetro
. O processo de encontrar um valor apropriado de no uma tarefa fcil e nem trivial.
Isso depende de mltiplos fatores, tais como a complexidade da distribuio e o volume
de dados de entrada. Por um lado, se o valor de for relativamente pequeno, possvel
criar uma maior quantidade de unidades, porm o tempo para adaptar as novas unidades
estrutura da rede existente significativamente reduzido, gerando assim redes visivelmente deformadas. Por outro lado, se o valor de for grande, a quantidade de unidades
criadas em um perodo de tempo menor, entretanto, o tempo de treinamento da rede
consideravelmente maior. De maneira geral, o parmetro deve ser definido de acordo
com a distribuio do conjunto de amostras do espao de entrada. Contudo, em muitos
casos, pouca ou nenhuma informao est disponvel acerca do tamanho e da distribuio
desse conjunto. Logo, a definio de um valor apropriado para um fator que depende,
em grande parte, da experincia emprica do projetista da rede.
Diferentemente da maioria das redes construtivas que necessitam especificar previamente uma taxa de crescimento , na rede neural proposta o procedimento de insero de
novos neurnios realizado de forma automtica e em qualquer instante de tempo, sem
que isto obrigue a reinicializao do processo de aprendizagem. Esse procedimento retira
o nus do projetista em ter que especificar a priori as dimenses da rede neural, alm
de tornar possvel resolver tarefas que exijam aprendizado em tempo real, como, por
exemplo, tarefas de horizonte infinito. Sob o ponto de vista de utilidade em problemas
dinmicos, a rede neural proposta oferece uma boa soluo para o dilema da estabilidadeplasticidade, apontado por Stephen Grossberg em 1976 (HAYKIN, 2001, p. 30), e faz
uso eficiente de memria se comparada com outras redes equivalentes (i.e., economia de
neurnios e conexes). O mecanismo que governa o crescimento da rede adiciona um
novo neurnio se e somente se dois critrios de vigilncia forem satisfeitos: o critrio de
93
plasticidade, , e o critrio de novidade, . No obstante, tarefa do projetista da rede

neural definir valores adequados para esses dois parmetros livres.
O procedimento de remoo automtica de neurnios visa aumentar a capacidade de
generalizao da rede neural, reduzir os requisitos computacionais e permitir a manipulao de dados no-estacionrios. A remoo de um neurnio pode ocorrer em duas
ocasies: (i) quando o neurnio no possuir nenhuma conexo sinptica; ou (ii) quando
o neurnio estiver posicionado em uma regio de baixssima densidade probabilstica, ou
seja, quando o neurnio for considerado no representativo da distribuio de pontos no
problema. No segundo caso, considera-se que um neurnio no-representativo (ou suprfluo) quando o valor de sua sinapse de habituao estiver na iminncia de atingir o
estado de no habituao (valor 1). Ou seja, a idia por trs do mecanismo de remoo
por habituao punir os neurnios que nunca vencem a competio.
Consideraes similares para remoo de neurnios em redes auto-organizveis j foram realizadas por DeSieno (1988) e Fritzke (1997a). DeSieno props usar uma forma
de memria para rastrear as atividades cumulativas dos neurnios individuais. Em particular, includo um mecanismo de conscincia para regular o bias do processo de
aprendizagem de uma rede de Kohonen convencional. Isto feito de tal maneira que
cada neurnio, independentemente de sua localizao na grade, tem a chance de vencer a
competio com uma probabilidade prxima ideal de 1/n, onde n o nmero total de
neurnios. Apesar deste mtodo funcionar perfeitamente bem em uma rede de Kohonen
convencional, o mesmo no se verificou em redes construtivas pois, em certas circunstncias, o mecanismo de conscincia acaba por atrapalhar o processo de aprendizagem.
Fritzke sugeriu associar um fator de utilidade a cada neurnio da rede. O objetivo remover os neurnios que possuem um fator de utilidade abaixo de um coeficiente mnimo
aceitvel. No entanto, esse mtodo computacionalmente oneroso, visto que cada neurnio deve armazenar uma informao local de erro e de utilidade.
O algoritmo de aprendizagem proposto opera em apenas uma nica fase, denominada
fase de aprendizagem. Em outras palavras, no existe uma fase distinta entre treinamento
e atuao. Isso s possvel pois todos os parmetros livres da rede neural no so dependentes do tempo. Ou seja, os parmetros so constantes no tempo, o que elimina
a necessidade de definir uma taxa de decaimento, normalmente problemtica para aplicaes que necessitam de um treinamento continuado. Por essa razo, a aprendizagem
realizada pode ser contnua e em tempo real, e a rede neural pode ser empregada em
situaes desejveis de aprendizado perptuo (THRUN; MITCHELL, 1995).
5.9
Este captulo props um novo modelo de rede neural artificial, denominado GTSOM
(do acrnimo em ingls para Growing Temporal Self-Organizing Map). O modelo de rede
neural artificial baseado em trs pilares fundamentais, a saber:
Auto-organizao, por meio da competio global, cooperao local e auto-amplificao seletiva;
Representao temporal, atravs de uma memria de curto prazo diferenciadora e
integradora aplicada externamente rede; e
Aprendizado construtivo, via insero e poda de neurnios e conexes sinpticas.
94
A integrao desses trs princpios em uma rede neural inovadora e tambm muito
vantajosa pois potencializa e facilita o desenvolvimento de inmeras aplicaes, como
tarefas de horizonte infinito e de dimenso espao-temporal. A Tabela 5.4 apresenta um
resumo das principais caractersticas do modelo neural proposto.
Tabela 5.4: Resumo das principais caractersticas da rede neural proposta.
Aspecto
Caracterstica
Descrio
Auto-organizao
Competio
Processo global realizado por um juiz externo. O juiz identifica os neurnios que melhor representam o vetor de entrada conforme uma funo de distncia euclidiana.
Processo local baseado numa funo de vizinhana. A funo de vizinhana determina a cada instante a vizinhana
topolgica formada em torno do neurnio vencedor.
Processo de adaptao seletiva confinado vizinhana do
neurnio vencedor. O ajuste realizado a nvel sinptico e
computado atravs da tcnica de Berglund e Sitte (2006).
No-hierrquica. Os neurnios so organizados de forma
direta em uma nica camada computacional.
Externa. A memria aplicada sobre os itens da seqncia
e no rede propriamente dita, que permanece esttica.
Representao temporal de origem simblica (local), ao invs de numrica (esparsa).
Diferenciadores e integradores aplicados na seqncia temporal x(t). Unidade de memorizao de Moser (2004).
Rede com topologia dinmica baseada na estrutura intrnseca do espao de entrada X .
Rede com dimensionalidade varivel inicializada com dois
neurnios conectados entre si.
Automtico. Neurnios so inseridos atravs dos critrios
de plasticidade e de novidade. Conexes sinpticas so inseridas atravs da tcnica CHL (MARTINETZ, 1993).
Automtico. Neurnios so removidos quando se tornam
isolados ou suprfluos. Conexes sinpticas so removidas
atravs de um contador de idade.
Estacionrio (e.g., tarefas de quantizao vetorial) e noestacionrio (e.g., tarefas de segmentao temporal).
Cooperao
Adaptao
Representao
temporal
Topologia
Posio
Representao
Natureza
Aprendizado
construtivo
Arranjo
Dimenso
Modo de Insero
Modo de Poda
Aplicao Alvo
O prximo captulo relata os resultados de diferentes experimentos de avaliao aplicados rede neural proposta, considerando tarefas simples de classificao de padres e
segmentao de seqncias temporais. Para fins de validao da rede, tambm so apresentadas comparaes qualitativas e quantitativas com outros trabalhos similares.
95
RESULTADOS EXPERIMENTAIS
Neste captulo relatado um conjunto de experimentos preliminares de avaliao do

modelo neural proposto nesta dissertao. Como o objetivo do trabalho validar o modelo, foram escolhidos experimentos tericos relativamente simples que pudessem ser implementados e simulados na ferramenta de simulao robtica desenvolvida. No entanto,
acredita-se que problemas prticos de maior complexidade, principalmente da robtica,
poderiam ser resolvidos pelas mesmas tcnicas empregadas neste captulo.
6.1
Metodologia
A metodologia adotada para realizar as experimentaes consiste em inicialmente utilizar simulaes em computador para gerar dados e, em um segundo momento, proceder
a uma anlise qualitativa e quantitativa dos dados gerados, comparando-os a resultados
previamente evidenciados na literatura. O interesse principal determinar as caractersticas e peculiaridades do modelo neural proposto, identificar suas principais propriedades
e limitaes e verificar a influncia de seus parmetros no processo de aprendizagem.
A implementao dos experimentos foi feita dentro de um ambiente prprio de simulao robtica1 na linguagem de programao Python verso 2.4, compilada no sistema
operacional Debian GNU/Linux verso 3.1 com kernel 2.6.15 e executada em um processador Intel Pentium M 750 de 1.86Ghz. Para todos os experimentos descritos a seguir,
foram fixados os seguintes parmetros para o modelo:
nmax = 300. O parmetro nmax especifica o nmero mximo de neurnios (nodos)
permitido na rede. Valores prximos a esse so comumente adotados na literatura.
cmax = 900. O parmetro cmax estabelece a quantidade mxima de conexes sinpticas (arestas) permitida na rede. Valores prximos a esse so normalmente
utilizados na literatura (i.e., cmax = 3 nmax ).
imax = 50. O parmetro imax define o limiar de idade aceitvel para as conexes
sinpticas (arestas). Esse o valor mais amplamente utilizado na literatura e fornece
um bom desempenho nas simulaes.
Cada um dos testes relatados foi repetido pelo menos dez vezes com diferentes inicializaes, exceto onde explicitamente indicado, e selecionado o resultado mais comum.
A pequena quantidade de pocas de treinamento escolhida foi suficiente para constatar os resultados, pois o erro de quantizao da rede cai rapidamente e estabiliza j
1
O Apndice A apresenta o ambiente de simulao robtica desenvolvido no mbito deste trabalho.
96
nas primeiras pocas de treinamento. A rede treinada com um vetor de entrada ndimensional x, cujos elementos x1 , . . ., xn esto uniformemente distribudos na regio
{(0 < x1 < 1); . . . ; (0 < xn < 1)}. Para inicializar a rede, os pesos sinpticos de todos
os neurnios so escolhidos de um conjunto aleatrio restrito ao intervalo fechado [0, 1].
6.2
Quantizao vetorial
Nesta seo so mostradas simulaes bastante elementares para ilustrar o comportamento da rede neural proposta e algumas de suas propriedades bsicas (e.g., generalizao, preservao de topologia) em problemas de classificao de padres espaciais. Em
particular, a rede neural submetida tarefa de quantizao vetorial. Nesta tarefa, o propsito discretizar otimamente um espao contnuo de entrada, de modo que cada vetor
de entrada seja atribudo a um vetor prottipo que melhor represente as suas caractersticas. Um prottipo armazenado como pesos sinpticos de um neurnio.
Para a realizao desta tarefa, os seguintes valores foram fixados para os parmetros
da rede: = 1.0, = 1.0, = 0.01, = 0.9 e = 0.7. Com = 1.0, as duas
integraes da unidade de memorizao so anuladas resultando em y(t) = 0, o que
faz com que o vetor de contexto calculado pela memria no seja levado em considerao
pela rede (vide Figura 6.1). Com = 0.01, = 0.9 e = 0.7, a unidade de habituao
atinge rapidamente o seu ponto mximo de saturao e se recupera lentamente de um
estado qualquer at o ponto inicial de no habituao. Como ser visto adiante, a rede tem
competncia para identificar os mais variados agrupamentos espaciais e tem a capacidade
de preservar a topologia subjacente do espao de entrada. Ao longo da discusso, ser
analisada a relao entre as distncias intra- e inter-cluster atravs da tcnica de Voronoi.
S(t)
(.)
wih
z(t)
wix
x(t)
ni
idadeij
(.)
y(t)
0/1
wjx
wj
nj
0/1
Figura 6.1: Arquitetura simplificada da rede aplicada tarefa de quantizao vetorial.

6.2.1
Distribuio bidimensional de dados
A Figura 6.2a mostra a distribuio uniforme de dados usada para treinar a rede neural.
A Figura 6.2b apresenta os valores dos vetores de pesos sinpticos, traados como pontos
97
no espao de entrada. As linhas desenhadas na Figura 6.2b conectam neurnios vizinhos

da rede. Cada interseo entre uma linha horizontal e vertical indica a presena de um
neurnio. A Figura 6.2c representa graficamente o diagrama de Voronoi resultante. As
linhas desenhadas na Figura 6.2c delimitam o espao de entrada em regies especficas.
Cada regio representa uma categoria da distribuio de dados de entrada. A classificao
de um determinado vetor de entrada simplesmente dada pela regio de Voronoi ocupada.
Figura 6.2: Simulao de uma distribuio de dados em forma de quadrado com = 0.75
e = 0.1. Ao todo so 1000 amostras uniformemente distribudas dentro da rea em
cinza claro. (a) Distribuio de densidade dos dados de entrada. (b) Condio da rede
aps 10 pocas de treinamento. (c) Diagrama de Voronoi resultante.
A Figura 6.3 mostra o mapeamento obtido pela rede neural para uma distribuio de
dados em forma de crculo. Os padres de treinamento esto uniformemente distribudos
no interior da regio do crculo. Conforme esperado, o mapeamento obtido tende a aproximar a distribuio dos dados de entrada. Nesta simulao foi fixado o valor 0.8 para o
parmetro de plasticidade, . Isto promove a insero de um maior nmero de neurnios
em relao a simulao anterior. Como pode ser observado na Figura 6.3b, um total de
treze neurnios foram includos na rede para realizar o mapeamento de caractersticas.
Figura 6.3: Simulao de uma distribuio de dados em forma de crculo com = 0.8 e
= 0.1. No total, so 1000 amostras uniformemente distribudas sobre a rea em cinza
claro. (a) Distribuio de densidade dos dados de entrada. (b) Condio da rede aps 10
pocas de treinamento. (c) Diagrama de Voronoi resultante.
98
A Figura 6.4 ilustra o mapeamento obtido pela rede neural para uma distribuio de
dados em forma de tringulo. Os padres de treinamento esto uniformemente distribudos dentro da rea triangular. Pode-se perceber que a rede tambm captura a topologia
intrnseca da distribuio uniforme na entrada. Nesta simulao foi fixado o valor de 0.85
para o parmetro de plasticidade, . Isto causa a insero de um nmero ainda maior de
neurnios em relao a simulao anterior. No total, dezoito neurnios foram adicionados
na rede a fim de realizar o mapeamento de caractersticas.
Figura 6.4: Simulao de uma distribuio de dados em forma de tringulo com = 0.85
e = 0.1. Ao todo so 1000 amostras uniformemente distribudas ao longo da rea em
cinza claro. (a) Distribuio de densidade dos dados de entrada. (b) Condio da rede
aps 10 pocas de treinamento. (c) Diagrama de Voronoi resultante.
Em todas as simulaes, a rede inicializada com apenas dois neurnios. Em um
primeiro momento, no intuito de preencher o espao de entrada, novos neurnios so automaticamente adicionados na rede. A insero de neurnios realizada conforme os
valores fixados para os parmetros de plasticidade, , e de novidade, . Em seguida, os
neurnios criados so adaptados estrutura subjacente do espao de entrada, de modo
a minimizar o erro mdio de quantizao da rede (vide Eq. 3.11). Adicionalmente, as
conexes sinpticas includas em demasia so removidas da rede e as restantes so reorganizadas. A distribuio estatstica dos neurnios no mapa se aproxima daquela dos
vetores de entrada, exceto nas reas situadas na extremidade do espao de entrada (e.g.,
vide Figura 6.2b). A m representao das regies limites do espao resulta do efeito de
borda. Neurnios localizados nas bordas do arranjo possuem vizinhos somente por um
lado e, por esse motivo, tendem a ser puxados por eles para dentro do espao.
Durante a fase de aprendizagem, os valores dos pesos sinpticos da rede saem de
uma configurao inicial desordenada para uma configurao ordenada. Pode-se fazer
aqui uma analogia da evoluo do aprendizado da rede com uma malha elstica (do ingls elastic mesh) que se desdobra medida que a aprendizagem avana. Em particular,
a malha elstica dinmica (i.e., com a incluso e remoo de neurnios) e no tem
uma estrutura fixa (e.g., retangular, hexagonal, entre outras). Aps um perodo suficiente
de aprendizagem (10 pocas), os valores dos pesos sinpticos e a configurao geomtrica das conexes sinpticas se tornam estveis. A estabilidade na representao da rede
ocorre quando o erro mdio de quantizao da rede suficientemente pequeno e, deste
modo, o valor calculado para a taxa de aprendizagem do neurnio vencedor, v , tende a 0.
A rede neural proposta no sofre de um problema que surge ocasionalmente na aplicao do algoritmo de Kohonen convencional. Este problema representado graficamente
99
na Figura 6.5 e consiste na criao de um mapa dobrado devido a uma falha de ordenao topolgica. A criao de um mapa dobrado pode ser vista como uma forma de um
estado metaestvel mnimo local do processo de ordenao topolgica. Um estado
metaestvel consiste em uma configurao dos pesos sinpticos da rede com defeito topolgico, ou seja, configuraes em que relaes de vizinhana so violadas. Defeitos
topolgicos ocorrem, por exemplo, se a largura inicial da funo vizinhana muito pequena ou decresce muito rapidamente. Erwin, Obermayer e Shulten (1992) demonstraram
que estados metaestveis surgem com muito mais freqncia quando o algoritmo usa uma
funo vizinhana no convexa como, por exemplo, a funo retangular.
Figura 6.5: Falha de ordenao topolgica observada em uma rede de Kohonen convencional com 25 neurnios dispostos regularmente em 5 linhas 5 colunas. (a) Distribuio
dos dados de entrada (1000 amostras). (b) e (c) Valores iniciais e finais, respectivamente,
dos pesos sinpticos da rede. O arranjo de neurnios encontra-se em uma configurao
metaestvel e, neste caso, a proximidade espacial dos neurnios violada.
A falha no processo de ordenao topolgica no ocorre na rede neural proposta, uma
vez que a funo vizinhana dinmica. A tcnica empregada para criar, remover e
ajustar as conexes sinpticas baseada no mtodo de aprendizado hebbiano competitivo (MARTINETZ; SCHULTEN, 1994). Esse mtodo determina que a vizinhana topolgica
de um neurnio de ndice i o conjunto de neurnios que tem conexo sinptica direta
com ele no instante de tempo t, i.e., Ni . Ou seja, a vizinhana no tem uma estrutura fixa
e nem constante durante o processo de aprendizagem.
Apesar da aparente vantagem de utilizar uma vizinhana dinmica, existe uma grande
limitao intrnseca nesta abordagem no que se refere reduo de dimensionalidade. Em
uma rede de Kohonen convencional, o mapa de caractersticas freqentemente capaz de
formar uma representao topolgica correta quando a dimenso do espao de entrada
maior que a dimenso do espao de sada. Na rede neural proposta, a construo do mapa
de caractersticas tende a seguir a estrutura intrnseca do espao de entrada e, por essa
razo, o algoritmo no realiza uma reduo de dimensionalidade. No entanto, as conexes
entre neurnios podem criar tanto malhas regulares como diversas figuras geomtricas e,
por isso, uma maior capacidade de aprendizado conferida rede neural.
O procedimento de insero de novos neurnios na rede realizado de forma automtica e em qualquer instante de tempo, sem que isto obrigue a reinicializao do processo
de aprendizagem. O mecanismo que governa o crescimento da rede adiciona um novo
neurnio se e somente se dois critrios de vigilncia forem satisfeitos: o critrio de plasticidade, 0 < < 1, e o critrio de novidade, 0 < < 1 (vide Figura 6.6). As trs
100
simulaes computacionais discutidas at ento distribuio quadrangular, circular e

triangular utilizaram o valor de 0.1 para o parmetro de novidade e diferentes valores
para o parmetro de plasticidade, a saber: 0.75, 0.8 e 0.85, respectivamente.
Figura 6.6: (a) Nmero de neurnios em funo do parmetro de plasticidade. (b) Nmero
de neurnios em funo do parmetro de novidade. (c) Erro mdio quadrado em funo do
parmetro de plasticidade. (d) Erro mdio quadrado em funo do parmetro de novidade.
Nesse momento, talvez seja apropriado refletir sobre a influncia dos parmetros de
vigilncia na convergncia da rede neural. No intuito de ter-se uma noo de quais as
repercusses de atribuir um valor pequeno ou grande para esses dois parmetros, foram
realizadas diversas simulaes computacionais variando-se os valores do parmetro de
novidade {0.1, 0.25, 0.5} e do parmetro de plasticidade {0.5, 0.7, 0.9}. O resultado est sintetizado na Figura 6.6. Cada combinao treinada com o mesmo conjunto
de pesos aleatrios iniciais e o mesmo conjunto de 300 amostras uniformemente distribudas, de modo que os resultados do experimento possam ser comparados diretamente.
O nmero mnimo de neurnios permitido preestabelecido em 2. O nmero mximo de
neurnios governado pelo parmetro nmax e, neste caso, vale 300.
A partir da Figura 6.6 pode-se concluir que o parmetro de plasticidade, , est diretamente relacionado com o nmero de neurnios inseridos na rede. Quanto maior o valor
fixado para o parmetro de plasticidade, mais especfico ser o critrio de plasticidade e
uma quantidade maior de neurnios ser adicionada na rede (i.e., 1 |A| nmax ).
Em contrapartida, o parmetro de novidade, , no afeta significativamente a quantidade
de neurnios criados, mas, por outro lado, determina o momento em que novos neurnios
so adicionados rede (vide Tabela 6.1). Quanto maior o valor fixado para o parmetro
101
de novidade, mais rapidamente os neurnios sero inseridos na rede.

Tabela 6.1: Relao do parmetro de novidade com a gnese da rede
Novidade
Plasticidade
Nmero de neurnios |A|
Iterao da ltima insero
0.10
0.25
0.50
0.75
1.00
0.7
0.7
0.7
0.7
0.7
8
9
11
10
11
1700
1564
1123
484
229
Na Figura 6.6, o fato de que o erro mdio quadrado final de cada curva no varia
significativamente no intervalo de e entre as curvas sugere uma superfcie de erro
bem comportada (i.e., relativamente suave) para o problema. Como regra geral, a busca
por valores adequados para os parmetros de vigilncia guiada por tentativa-e-erro, aps
alguma experimentao inicial com os dados e a rede neural. Contudo, as curvas de
aprendizagem experimentais mostradas na Figura 6.6 sugerem as seguintes tendncias:
1. Com prximo de 1, um nmero elevado de neurnios adicionado na rede e pode
ocorrer um fenmeno chamado sobre-ajuste (do ingls overfitting), tal que a rede
neural perde sua capacidade de generalizao;
2. Utilizando menor que 0.5, a rede cria um nmero bem reduzido de neurnios e
pode ocorrer um fenmeno chamado sub-ajuste (do ingls underfitting), tal que a
rede se torna rgida demais para lidar com variados padres de entrada;
3. Com prximo de 1, o tempo para adaptar os novos neurnios estrutura da rede
existente significativamente reduzido, gerando redes visivelmente deformadas; e
4. Com prximo de zero, a quantidade de neurnios criados em um perodo de tempo
menor, entretanto, o tempo de treinamento da rede consideravelmente maior.
6.2.2
Distribuio no-linearmente separvel de dados
A Figura 6.7 apresenta o mapeamento obtido pela rede neural para a distribuio de
densidade de duas espirais concntricas2 . O problema de classificao de padres das duas
espirais, originalmente proposto por Alexis Wieland, um benchmark da rea de mtodos de classificao e, at recentemente, tem recebido ateno especial da comunidade
cientfica por se tratar de um problema no-linearmente separvel3 de difcil soluo.
Este problema de classificao consiste em determinar em qual das duas espirais entrelaadas pertence um determinado ponto do espao. Cada espiral representa uma classe
(ou categoria) e cada neurnio representa o prottipo de uma determinada classe. Na
verso no-supervisionada do problema de classificao das duas espirais, o propsito
determinar se a rede capaz de preservar a topologia subjacente do espao de entrada.
2
Esta distribuio de dados em forma de duas espirais concntricas j foi utilizada em experimentaes com outras redes neurais auto-organizveis construtivas, dentre elas GDCS (BRUSKE; SOMMER, 1995),
GNG (KUNZE; STEFFENS, 1995) e GWR (MARSLAND; SHAPIRO; NEHMZOW, 2002). As amostras foram obtidas atravs do repositrio oficial de redes neurais artificiais da Universidade de Carnegie Mellon (CMU).
3
Um problema de classificao no-linearmente separvel aquele que possui padres em determinadas
posies do espao de caractersticas que no podem ser separados simplesmente por uma linha reta.
102
Figura 6.7: Simulao de uma distribuio de dados em forma de duas espirais com
= 0.7 e = 0.1. (a) Distribuio de densidade de duas espirais concntricas. Ao todo
so 960 amostras. (b) Condio da rede aps 10 pocas de treinamento.
6.2.3
Distribuio multimodal de dados
A rede neural proposta capaz de representar estruturas bastante complexas, inclusive

com reas alongadas e regies desconexas. A Figura 6.8 mostra um exemplo do mapeamento obtido pela rede neural para uma distribuio multimodal de dados. Em particular,
os padres de treinamento esto distribudos em quatro reas distintas e cada rea est
adequadamente representada por um conjunto de prottipos.
Figura 6.8: Simulao de uma distribuio multimodal de dados com = 0.85 e = 0.1.
(a) Distribuio de entrada (1000 amostras distribudas em quatro regies desconexas).
(b) Condio da rede aps 10 pocas de treinamento. (c) Diagrama de Voronoi resultante.
A simulao acima pode ser compreendida como uma tarefa de identificao de agrupamentos (clusterizao). A identificao de agrupamentos uma tarefa descritiva que
procura agrupar dados usando a similaridade dos valores de seus atributos como fator de
deciso quanto sua pertinncia num entre vrios agrupamentos possveis. Este processo
realizado de forma no-supervisionada, pois a similaridade entre os atributos uma
caracterstica intrnseca dos dados, no necessitando de um arquivo de treinamento com
classes pr-definidas. A Figura 6.9 ilustra o comportamento da rede nesta tarefa.
103
Figura 6.9: Identificao de agrupamentos com nmax = 5. (a) Modelo gerador com cinco
agrupamentos. O smbolo representa o centride de um determinado agrupamento. (b)
Os cinco prottipos calculados pela rede neural se aproximam dos cinco centrides do
modelo gerador. (c) Diagrama de Voronoi resultante.
6.2.4
Distribuio no-estacionria de dados
A Figura 6.10 mostra a distribuio no-estacionria de dados utilizada para treinar

a rede neural. Inicialmente, as amostras so retiradas de dois quadrados posicionados
no canto inferior esquerdo e superior direito da rea da Figura 6.10a. Aps 5 pocas
na cinco milsima primeira iterao as amostras so extradas de dois quadrados
localizados no canto inferior direito e superior esquerdo (vide Figuras 6.10bc). No total,
a simulao compreende 10 pocas de aprendizagem, cada qual com 1000 iteraes.
Figura 6.10: Simulao de uma distribuio no-estacionria de dados com = 0.8 e

= 0.1. Ao todo so 1000 amostras uniformemente distribudas dentro das reas em cinza
claro. (a) Configurao inicial do mapa de caractersticas. (b) A distribuio de dados
drasticamente modificada e se inicia um processo de incluso e migrao de neurnios.
(c) Todos os neurnios so realocados para regies de alta densidade probabilstica.
O mapa de caractersticas calculado pela rede neural fornece uma boa aproximao
topologia subjacente do espao de entrada. Aps a distribuio sofrer uma drstica alterao, alguns neurnios so criados ou realocados para reas de alta densidade probabilstica, enquanto outros so removidos da rede. A Figura 6.11 mostra o erro de quantizao
e o nmero de neurnios criados no transcorrer do processo de aprendizagem.
104
Figura 6.11: (a) Erro de quantizao da rede (EMQ=0.00559). (b) Nmero de neurnios
em funo do tempo. O nmero mnimo de neurnios permitido na rede fixado em 2. O
nmero mximo de neurnios governado pelo parmetro nmax e, neste caso, vale 300.
Como regra geral, o algoritmo proposto remove neurnios no-representativos (ou
suprfluos) para a distribuio de entrada e adiciona novas unidades em posies mais
significativas para a diminuio do erro de quantizao da rede. Um neurnio considerado suprfluo caso no vena a competio por um longo perodo de tempo. Esse perodo
definido de forma implcita atravs da escolha das taxas de sensibilizao e habituao
da sinapse de habituao do neurnio (parmetros e , respectivamente). A taxa de
sensibilizao faz aumentar paulatinamente o valor da sinapse de habituao at o valor
1. J a taxa de habituao faz diminuir gradativamente o valor da sinapse de habituao
at o valor zero. medida que o processo de aprendizagem se desenvolve, cada neurnio
tem sua sinapse de habituao, wh , ajustada, de acordo com os valores fixados para e .
Por conveno, um neurnio de ndice i removido da rede se a sua sinapse de habituao
ultrapassar o valor 0.95. A Figura 6.12 apresenta o valor do peso da sinapse de habituao
de um neurnio arbitrrio no decorrer do processo de aprendizagem.
Figura 6.12: Valor do peso da sinapse de habituao de um neurnio arbitrrio em funo

do tempo. O neurnio adicionado rede no instante de tempo 11. A distribuio de
dados alterada aps 5 pocas. Neste momento, o neurnio se torna no-representativo
para a distribuio de densidade e removido da rede no instante de tempo 5542.
105
Na simulao da Figura 6.10, neurnios que no vencem a competio por um longo

perodo so removidos da rede porque a taxa de sensibilizao igual a 0.1. J na simulao da Figura 6.13, nenhum neurnio suprfluo removido da rede porque a taxa de
sensibilizao feita igual a zero. Neste caso, a rede possui uma memria de longo prazo
(LTM, do ingls long-term memory) que retm de forma definitiva a informao aprendida. A situao ilustrada na Figura 6.13c tambm ocorre com uma rede de Kohonen
convencional. Inicialmente, a rede de Kohonen consegue representar bem a distribuio de dados. No entanto, quando a distribuio significativamente modificada, alguns
neurnios da rede no podem ser retreinados pois a taxa de aprendizagem possui um valor muito pequeno e prximo de zero (i.e., (t) 0) e, conseqentemente, se tornam
neurnios inoperantes. Em contrapartida, a rede neural proposta consegue resolver esta
problemtica, desde que seja fixado um valor maior que 0.0 para a taxa de sensibilizao4 .
Figura 6.13: Simulao de uma distribuio no-estacionria de dados com = 0.8 e

= 0.1. Em particular, o parmetro da taxa de sensibilizao, , foi fixado em 0.0. No
total, so 1000 amostras uniformemente distribudas sobre as reas em cinza claro. (ac)
Configurao do mapa antes, durante e depois da distribuio sofrer uma alterao.
6.2.5
Distribuio no-uniforme de dados
O mapa de caractersticas calculado pela rede neural proposta reflete variaes na

estatstica da distribuio de dados de entrada. Em outras palavras, regies no espao de
entrada de onde as amostras sejam retiradas com uma alta probabilidade de ocorrncia so
mapeadas em regies maiores do espao de sada, e vice-versa. A Figura 6.14 ilustra um
exemplo da estimao pontual da densidade de probabilidades. Assim como na rede de
Kohonen convencional, a alocao de recursos no proporcional densidade de pontos
da distribuio. Esta constatao pode ser verificada pelo nmero de neurnios criados
para cada regio da Figura 6.14. Como regra geral, a rede tende a subrepresentar regies
com alta densidade de entrada e sobrerepresentar regies com baixa densidade de entrada.
Ou seja, o mapa fornece apenas uma representao pontual subtima da distribuio de
probabilidade intrnseca dos dados de entrada.
4
Esta distribuio no-estacionria de dados j foi utilizada em experimentaes com outras redes neurais auto-organizveis construtivas, tais como GNG com fator de utilidade (FRITZKE, 1997a), GWR (MARSLAND; SHAPIRO; NEHMZOW, 2002) e, mais recentemente, DASH (HUNG; WERMTER, 2003).
106
Figura 6.14: Simulao de uma distribuio no-uniforme de dados com = 0.85,

= 0.1. (a) Distribuio dos dados de entrada. Ao todo so 1000 amostras distribudas sobre as reas em cinza: 900 dentro do retngulo da esquerda e apenas 100 ao longo
do retngulo da direita. (b) Alocao de mais recursos (i.e., neurnios) para a regio com
maior densidade de amostras. (c) Diagrama de Voronoi resultante.
6.3
Segmentao de seqncias temporais
Nesta seo utiliza-se um experimento para ilustrar o comportamento da rede neural

proposta em uma tarefa de segmentao temporal5 . Nesta tarefa, o objetivo principal verificar se a rede neural da Figura 5.3 capaz de segmentar corretamente a seqncia temporal em trechos significativos e identificar posies de ambigidade espao-temporal.
6.3.1
Distribuio espao-temporal de dados em forma de 8
A Figura 6.15 apresenta a seqncia temporal de duas dimenses em forma de 8.
Figura 6.15: Ilustrao da seqncia temporal em forma de 8. O crculo fechado ()

simboliza o ponto inicial da seqncia (t = 0), a seta indica o sentido do fluxo (da esquerda para a direita) e o crculo aberto () representa os dois pontos ambguos da
seqncia temporal (t = 50 e t = 150), alocados na mesma posio espacial (0.5, 0.5).
5
Este experimento de segmentao de seqncias temporais j foi feito com outras redes neurais autoorganizveis temporais, dentre elas TDSOM (KANGAS, 1990), rede de Arajo e Barreto (ARAJO; BARRETO,
2002) e, mais recentemente, rede de Kohonen com memria diferenciadora-integradora (MOSER, 2004).
107
A seqncia temporal da Figura 6.15 gerada a partir das Equaes 6.1 e 6.2 para
1 t 200. Os 200 pontos obtidos so submetidos rede neural em uma determinada
ordem, de tal maneira que a seqncia possa ser interpretada como a trajetria de um rob
mvel ou agente de software realizada dentro de um ambiente. Nesta seqncia existe
um nico ponto de ambigidade espacial, posicionado na coordenada (0.5, 0.5). Os dois
instantes em que a seqncia temporal passa por este ponto so t = 50 e t = 150.

t
4 + 0.5
= 0.5 sin
200

t
2 + 0.5
= 0.5 cos
200

x1
x2
(6.1)
(6.2)
A rede neural foi submetida a 10 pocas de aprendizagem, cada qual com 200 iteraes. A cada instante, a camada de entrada da rede recebe um padro de entrada espaotemporal z(t) de dimenso 4-por-1, tal que z(t) = [x1 (t), x2 (t), y1 (t), y2 (t)]T . Na Figura 6.16 apresentado o resultado obtido pela rede proposta de parmetros nmax = 20,
cmax = 60, imax = 50, = 0.7, = 0.1, = 0.7, = 0.7, = 0.01, = 0.9 e = 0.7.
Figura 6.16: Simulao de uma distribuio de dados em forma de 8 com = 0.7,

= 0.1, = 0.7, = 0.7, = 0.01, = 0.9 e = 0.7. (a) Condio da rede
aps 10 pocas de aprendizagem. (b) Espao de representao gerado pela unidade de
memorizao . (c) Erro de quantizao da rede (EMQ=0.01001). (d) Atividade na sada
da rede na ltima poca. Os smbolos H e N indicam os instantes t = 50 e t = 150,
respectivamente, representados pelos neurnios de ndice 5 e 14, respectivamente.
108
A Figura 6.16a mostra os valores dos pesos sinpticos aps as 10 apresentaes da

seqncia temporal. Os vetores de pesos sinpticos so traados como pontos no espao
de entrada. As linhas desenhadas representam a vizinhana dos neurnios. A Figura 6.16b
apresenta o espao de representao gerado pela unidade de memorizao . Os parmetros empregados na unidade de memorizao foram = 0.7 e = 0.7, com a sada da
unidade multiplicada por 10 para compensar a reduo de amplitude do sinal e aumentar
a importncia da informao de contexto6 . A Figura 6.16c mostra o erro de quantizao
da rede. A Figura 6.16d apresenta a atividade de sada de todos os neurnios da rede.
O arranjo de neurnios da Figura 6.16a encontra-se em uma configurao estvel e a
proximidade espao-temporal dos neurnios no violada. No grfico da Figura 6.16d o
primeiro neurnio tem ndice 0 e o ltimo neurnio tem ndice 18. A transio entre os
neurnios de ndices 0 e 18 no corresponde a um salto abrupto, pois os neurnios so
vizinhos no mapa de caractersticas. A rede neural classifica a posio de ambigidade
localizada na coordenada (0.5, 0.5) com dois neurnios diferentes. Os neurnios de
ndice 5 e 14 representam os instantes 50 e 150, respectivamente (vide Figura 6.16d). Esta
distino somente possvel pois os dois instantes de tempo encontram-se em locais distintos no subespao de entrada contextual Y (vide Figura 6.16b). Mais especificamente, a
distino realizada com base no sinal da componente y2 do vetor de entrada contextual
y(t): z(50) = [0.5, 0.5, 0.96394, 0.51279] e z(150) = [0.5, 0.5, 0.96394, 0.51279].
A Tabela 6.2 apresenta um resumo dos desempenhos da rede na tarefa de segmentao.
Tabela 6.2: Resumo dos desempenhos de segmentao da seqncia temporal 8
Tentativa
1
2
3
4
5
6
7
8
9
10
Mdia
Desvio padro
Ambigidade na representao
Erro mdio quadrado final
No
No
No
No
No
No
No
No
No
No
100%
0.0
0.01286
0.01096
0.01151
0.01172
0.01050
0.01139
0.01205
0.01089
0.01278
0.01001
0.011467
0.0009264
Na Figura 6.17 ilustrado o resultado obtido por uma rede de Kohonen convencional
com 20 neurnios dispostos num mapa circular unidimensional de parmetros = 1.5
e = 1. Para aumentar a convergncia e a estabilidade dos resultados, a largura da vizinhana topolgica, , tem seu valor reduzido linearmente at 1.0 e o valor da taxa de
aprendizagem, , decai monotonicamente at 0.0 conforme o grfico da Figura 6.17b. Em
todas as 10 tentativas realizadas a rede de Kohonen convencional falhou na representao
da posio de ambigidade e, em mdia, obteve um valor quadrado do erro de quantizao igual a 1.9118 102 e desvio padro igual a 0.11374 102 . importante ressaltar
que o erro de quantizao da rede de Kohonen no leva em conta a distncia temporal,
6
A normalizao dos dados de sada da unidade de memorizao realizada em tempo real por uma
constante multiplicativa. A determinao da amplitude ideal para o sinal incidente feita a partir da anlise
de sua funo kernel (vide Eq. 4.12). Para maiores detalhes, consulte (MOSER, 2004, p. 6566).
109
mas apenas a componente espacial do vetor de entrada toma parte neste erro. A representao da seqncia temporal classifica os dois instantes de tempo com o mesmo neurnio
prottipo (vide neurnio de ndice 7 na Figura 6.17d). A atividade na sada da rede sofre
saltos abruptos no decorrer da seqncia e, por isso, o mapa de caractersticas no reflete
espacialmente a contigidade temporal da seqncia. Esta ambigidade de representao existe independente dos parmetros escolhidos para e , pois a rede carece de uma
unidade de memorizao (e.g., memria de curto prazo ou laos de realimentao).
Figura 6.17: Simulao de uma distribuio de dados em forma de 8 com 20 neurnios

dispostos num mapa de Kohonen unidimensional circular de parmetros = 1.5 e = 1.
(a) Condio da rede aps 10 pocas de treinamento. (b) Heurstica usada para decrescer
monotonicamente o valor de com o transcorrer do treinamento. (c) Erro de quantizao
da rede (EMQ=0.019118). (d) Atividade na sada da rede na ltima poca.
Para ampliar a discusso sobre o tema, esta mesma tarefa de segmentao temporal
foi submetida s redes neurais auto-organizveis temporais discutidas no Captulo 4. Em
geral, as redes temporais classificam o ponto de cruzamento com neurnios diferentes. A
razo para isso a incluso de uma informao de contexto ao espao de representao
da rede, tanto na forma de uma memria de curto prazo (e.g., linha de atrasos de tempo,
integradores e/ou diferenciadores) como na forma de laos de realimentao (i.e., por
recorrncia da atividade neural). A Figura 6.18 mostra a freqncia de convergncia dos
neurnios de cada rede temporal estudada. Os resultados apresentados so a mdia de 20
episdios da seqncia temporal em forma de 8. Os seguintes parmetros foram usados
para as redes temporais: (i) TKM com constante de reteno de atividade, , igual a 0.8;
(ii) RSOM com profundidade de memria, , igual a 0.05; (iii) CSOM com constantes de
110
Convergencia e classificacao
(%)
esquecimento, e , iguais a 1.0 e 0.5; (iv) SOMSD de parmetros = 1.0 e = 0.08;

(v) MSOM de parmetros = 0.5 e = 0.5; (vi) SARDNET com taxa de decaimento,
, igual a 0.95; e (vii) DIN com constantes de integrao, e , iguais a 0.7 e 0.7.
100
80
60
40
20
SA
R
M
G
T
SO
N
ET
IN
D
M
SO
M
M
SD
SO
SO
C
SO
R
Figura 6.18: Freqncias de convergncia e de classificao de cada rede neural autoorganizvel na tarefa de segmentao temporal. A barra da esquerda indica a porcentagem
de convergncia dos neurnios prottipos, ou seja, a freqncia de representao estvel
da seqncia temporal. A barra da direita aponta a porcentagem de acerto na classificao
da seqncia temporal, isto , a freqncia de identificao da posio de ambigidade.
(EMQ)
0.05
Erro medio quadrado
Com exceo da rede neural proposta que realiza a insero e a remoo de neurnios
ao longo do processo de aprendizagem, a representao temporal das redes temporais
sensvel configurao inicial dos pesos sinpticos. O melhor resultado de classificao
foi obtido pela rede neural proposta, pois em 100% dos experimentos houve convergncia
estvel e no ambgua de representao da seqncia temporal e o valor mdio do erro
mdio quadrado de quantizao foi o mais baixo de todos (1.001 102 ). A Figura 6.19
apresenta o erro mdio quadrado de quantizao de cada rede temporal estudada.
0.04
0.03
0.02
M
T
G
D
N
R
SA
SO
ET
IN
D
M
SO
M
SD
SO
M
C
SO
M
M
SO
R
K
M
0.01
Figura 6.19: Erro mdio quadrado de quantizao de cada rede neural auto-organizvel
na tarefa de segmentao temporal. A linha vertical sobre cada barra representa a margem
de erro, isto , o desvio padro para mais e para menos em torno da mdia.
111
No intuito de verificar a estabilidade da representao gerada pela rede neural aplicouse a seqncia temporal em forma de 8 com perturbaes de rudo uniforme no intervalo
[0.1, 0.1], translao e rotao. Como ser analisado a seguir, a classificao da seqncia temporal ruidosa invariante s perturbaes testadas, principalmente a perturbaes
de rudo e translao da seqncia. Os resultados obtidos nas Figuras 6.20, 6.21 e 6.22
so semelhantes aos ilustrados na Figura 6.16, isto , a rede no apresenta defeitos topolgicos na formao do mapa de caractersticas e a posio de ambigidade classificada
com neurnios prottipos distintos.
A Figura 6.20 apresenta os resultados de classificao da seqncia temporal com
rudo de distribuio uniforme no intervalo [0.1, 0.1]. A aplicao do rudo sobre a
seqncia original 8 no prejudica a classificao final, pois a propriedade de reduo
de rudo por integrao temporal da unidade de memorizao garante invarincia na
segmentao da seqncia ruidosa e a propriedade de preservao de topologia da rede
assegura a corretude no mapeamento de caractersticas . Neste problema especfico, a
tolerncia mxima de rudo uniforme compreende o intervalo de 0.25 a 0.25. Para valores fora desta faixa, a rede neural gera um mapa de caractersticas bastante distorcido e
classifica erroneamente a seqncia temporal. A tolerncia a rudo de fundamental importncia para problemas robticos, pois os sinais provindos dos sensores e os comandos
enviados aos atuadores dos robs geralmente so medidas imprecisas dotadas de rudo.
Figura 6.20: Simulao de uma distribuio de dados em forma de 8 com rudo de

distribuio uniforme no intervalo [0.1, 0.1]. (a) Condio da rede aps 10 pocas. (b)
Espao de representao gerado pela unidade de memorizao . (c) Erro de quantizao
da rede (EMQ=0.01872). (d) Atividade na sada da rede na ltima poca.
112
A Figura 6.21 apresenta os resultados de classificao da seqncia temporal com perturbao de translao. Como pode ser observado na Figura 6.21, a classificao obtida
completamente invariante translao e bastante similar representao da seqncia
temporal sem translao da Figura 6.16. A invarincia translao, tambm denominada
na literatura por invarincia ao deslocamento, uma propriedade que pode ser aplicada
em uma srie de problemas robticos relacionados ao processamento de imagens e sinais. Nestes problemas, deseja-se que alguma caracterstica do padro apresentado seja
extrada ou reconhecida, independente da translao ao longo de uma dimenso. Por
exemplo, considere um filtro para deteco de bordas em uma imagem. extremamente
desejvel que o filtro efetue a mesma operao sobre todos os pontos da imagem, independente se uma parte da imagem foi transladada.
Figura 6.21: Simulao de uma distribuio de dados em forma de 8 com rudo de

translao. (a) Condio da rede aps 10 pocas de aprendizagem. (b) Espao de representao gerado pela unidade de memorizao . (c) Erro de quantizao da rede
(EMQ=0.01891). (d) Atividade na sada da rede na ltima poca.
A Figura 6.22 apresenta o resultado da perturbao de rotao do sinal. A rotao
uma perturbao que afeta a representao da unidade de memorizao (vide grfico
da Figura 6.22b). No entanto, os resultados ainda assim podem ser considerados satisfatrios, pois a classificao final identifica a posio de ambigidade com dois neurnios
prottipos diferentes. Constata-se nas Figuras 6.22a e 6.22b, que o subespao de entrada
contextual Y mais estvel que o subespao de entrada sensorial X . Isto implica a reduo da influncia desta perturbao e o aumento da estabilidade da classificao. Em
muitos problemas robticos, a invarincia rotao imprescindvel para o rob catego-
113
rizar os objetos fsicos presentes no meio pois uma pequena rotao pode levar ocluso
ou ao aparecimento de uma parte substancial do objeto em questo. Categorizar objetos
significa realizar distines entre diferentes tipos de objetos e reconhecer um mesmo objeto sob diferentes ngulos de viso. Em um mecanismo de software ou hardware sem
qualquer robustez rotao, os objetos para serem reconhecidos tm que estar exatamente
no mesmo local e na mesma orientao com que foram inicialmente observados.
Figura 6.22: Simulao de uma distribuio de dados em forma de 8 com rudo de rotao. (a) Condio da rede aps 10 pocas de aprendizagem. (b) Espao de representao
gerado pela unidade de memorizao . (c) Erro de quantizao da rede (EMQ=0.01803).
(d) Atividade na sada da rede na ltima poca.
6.3.2
Distribuio espao-temporal de dados em forma de circunferncia
Para finalizar, considera-se uma generalizao do problema de classificao da seqncia temporal em forma de 8, onde todos os pontos da seqncia tm ambigidade
espao-temporal. A seqncia definida sobre uma circunferncia de raio 0.5 e centro (0.5, 0.5), conforme ilustra a Figura 6.23. Os 50 pontos igualmente espaados da
circunferncia so submetidos rede neural em uma determinada ordem, de tal forma
que a seqncia possa ser interpretada como a trajetria de um rob mvel ou agente de
software realizada dentro de um ambiente. O rob pode percorrer o circuito, partindo de
um ponto inicial simbolizado por , em dois sentidos opostos: horrio (vide Figura 6.23a)
ou anti-horrio (vide Figura 6.23b). Por conveno, o sentido anti-horrio (contrrio aos
ponteiros de um relgio) adotado como sentido negativo. No total, a simulao compreende 20 pocas de aprendizagem, cada qual com 50 iteraes. Entre a primeira e a quinta
114
poca e entre a dcima e a dcima quinta poca, as amostras so retiradas no sentido de

rotao horrio. Entre a quinta e a dcima poca e entre a dcima quinta e a vigsima
poca, as amostras so extradas no sentido de rotao anti-horrio.
Figura 6.23: Ilustrao da seqncia temporal definida sobre uma circunferncia de raio
igual a 0.5 e centro igual a (0.5, 0.5). No total, so 50 amostras uniformemente distribudas ao longo da circunferncia. O smbolo representa o ponto inicial da seqncia
e a seta indica o sentido de rotao do fluxo: (a) horrio (t = {0..249; 500..749}) ou (b)
anti-horrio (t = {250..499; 750..999}).
Nesta tarefa, o objetivo principal verificar se a rede neural proposta capaz de identificar o sentido de rotao da seqncia. Os seguintes valores foram fixados para os
parmetros do modelo: nmax = 50, cmax = 150, imax = 20, = 0.7, = 0.1, = 0.6,
= 0.4, = 0.05, = 0.9 e = 0.7. A sada da unidade de memorizao foi multiplicada por 2 para compensar a reduo de amplitude do sinal e aumentar a importncia
da informao de contexto. Cabe ressaltar que no houve nenhuma seleo exaustiva de
parmetros e que outros valores para os parmetros do modelo geram resultados semelhantes aos relatados a seguir. A Figura 6.24 traz os resultados.
Figura 6.24: Simulao de uma distribuio de dados em forma de circunferncia com

= 0.7, = 0.1, = 0.6, = 0.4, = 0.05, = 0.9, = 0.7. (a) Condio da
rede aps 10 pocas de aprendizagem. O smbolo H indica os neurnios ativos durante o
sentido de rotao horrio. O smbolo N aponta os neurnios ativos durante o sentido de
rotao anti-horrio. (b) Espao de representao gerado pela unidade de memorizao
. Todos os 50 pontos so ambguos. Os smbolos H e N representam os pontos iniciais
da seqncia temporal nos sentidos de rotao horrio e anti-horrio, respectivamente.
115
A cada instante de tempo, a camada de entrada da rede recebe um padro de entrada

espao-temporal z(t) de dimenso 4-por-1, tal que z(t) = [x1 (t), x2 (t), y1 (t), y2 (t)]T . Da
Figura 6.24 identifica-se dois agrupamentos (clusters) de neurnios superpostos. Cada
agrupamento mapeia um sentido de rotao da seqncia temporal. No existe nenhuma
ligao entre os dois agrupamentos e, dessa forma, pode-se afirmar que a rede neural
identificou um contexto para cada sentido de rotao. Esta observao pode ser melhor
visualizada no grfico em trs dimenses da Figura 6.25.
Figura 6.25: Identificao de dois agrupamentos distintos na distribuio de dados. Os

neurnios posicionados no eixo z = 1.0 mapeiam o sentido de rotao horrio. Os neurnios alocados no eixo z = 1.0 mapeiam o sentido de rotao anti-horrio.
Note que o subespao de entrada contextual Y da Figura 6.24 tem raio 0.3 e centro
(0, 0). A distino entre os dois sentidos de rotao feita com base na magnitude e, principalmente, no sinal do vetor de contexto y. Mais especificamente, a distino realizada
de acordo com o sinal da componente y2 do vetor de entrada contextual y(t). Por exemplo, no incio da apresentao da seqncia temporal no sentido de rotao horrio, o vetor de entrada espao-temporal z vale [1.0, 0.5, 0.09358, 0.27831] e, no sentido de rotao
anti-horrio, o vetor de entrada espao-temporal z igual a [1.0, 0.5, 0.09833, 0.28678].
Na Figura 6.26 pode-se verificar que os dois sentidos de rotao da seqncia temporal
foram mapeados com neurnios distintos para toda extenso de amostras (1 t 1000).
Por um lado, o sentido de rotao horrio da seqncia temporal foi classificado pelos
neurnios de ndice 0 a 11 (vide Figura 6.26b). Por outro lado, o sentido de rotao
anti-horrio foi identificado pelos neurnios de ndice 12 a 22 (vide Figura 6.26d). Com
este resultado, conclui-se que a rede neural resultante da aplicao do algoritmo proposto
identifica casos extremos de ambigidade espacial como este.
Nos experimentos realizados com as redes neurais auto-organizveis temporais do Captulo 4, verificou-se que um nico agrupamento de neurnios foi criado para representar
toda a extenso de amostras (1 t 1000). Os dois sentidos de rotao da seqncia
temporal foram mapeados com os mesmos neurnios prottipos (vide Figura 6.27).
importante ressaltar que esta ambigidade de representao existe independente dos parmetros escolhidos, pois se deve principalmente a rgida estrutura topolgica da rede que
impossibilita desmembrar o arranjo bidimensional de neurnios em dois agrupamentos.
116
Figura 6.26: (a) Neurnios inseridos entre a primeira e a quinta poca (rotao horria).
(b) Atividade na sada da rede na quinta poca. (c) Neurnios adicionados entre a quinta
e a dcima poca (rotao anti-horria) (d) Atividade na sada da rede na dcima poca.
Figura 6.27: Simulao de uma distribuio de dados em forma de circunferncia com

uma rede TKM de parmetro = 0.8. (a) Condio da grade aps 10 pocas de aprendizagem. (b-c) Atividade na sada da rede na quinta poca e na dcima poca, respectivamente. Note que todos os neurnios esto ativos em ambos os sentidos de rotao.
6.4
As simulaes apresentadas neste captulo so somente uma pequena amostra da vasta

agenda de pesquisa que se inaugura a partir do tema de pesquisa sugerido nesta dissertao. No prximo captulo feito um apanhado geral dos principais avanos cientficos e
tecnolgicos apresentados neste documento, bem como so discutidos possveis tpicos
para futuros desenvolvimentos nos domnios de aplicao aqui estudados.
117
CONCLUSES E TRABALHOS FUTUROS
7.1
Sobre o trabalho
Este trabalho apresentou as etapas de projeto, teste e comparao de um novo modelo

de rede neural artificial, denominado GTSOM (Growing Temporal Self-Organizing Map).
O modelo foi concebido de acordo com trs aspectos julgados essenciais em aplicaes
robticas de natureza espao-temporal e de horizonte infinito:
Auto-organizao, atravs da competio global, cooperao local e auto-amplificao seletiva. A auto-organizao diz respeito capacidade da rede neural alterar a
sua estrutura de interconexo exclusivamente em funo de sua experincia e de
seu relacionamento com o meio ambiente;
Representao temporal, por meio de uma memria de curto prazo diferenciadora
e integradora aplicada na camada de entrada da rede. A representao temporal
est relacionada com a maneira de incluir o tempo na operao da rede neural, que
pode ser por linha de atrasos de tempo, diferenciadores, integradores e/ou laos de
realimentao (recorrncia); e
Aprendizado construtivo, via insero e remoo de neurnios e conexes sinpticas. O aprendizado construtivo est relacionado com a construo automtica da
arquitetura da rede neural, atravs de procedimentos de validao cruzada, tcnicas
de regularizao, mtodos de poda e/ou mtodos construtivos.
No intuito de projetar o modelo de rede neural artificial, se fez necessria uma ampla
reviso bibliogrfica do estado da arte em princpios de projeto para agentes de software
inteligentes, tcnicas de processamento de sinais temporais para redes neurais artificiais e
mtodos de construo automtica de arquitetura para redes neurais artificiais. Com base
neste estudo, apresentado no decorrer dos Captulos 2, 3 e 4, o modelo de rede neural
artificial foi devidamente idealizado, projetado, construdo e testado.
A formulao da rede neural proposta baseada no processamento de dados espaotemporais, ou seja, dados que esto relacionados de forma espacial e que possuem uma
correlao temporal entre si. No entanto, a rede flexvel o suficiente para lidar com dados
puramente espaciais, como o caso de tarefas de quantizao vetorial. Por exemplo, nas
simulaes computacionais da Seo 6.2, a arquitetura da rede neural foi ligeiramente
modificada, simplesmente omitindo-se a unidade de memorizao .
A unidade de memorizao acoplada rede neural uma sugesto de Moser (2004)
e tem como funo realizar uma derivao e/ou integrao da informao de entrada.
O funcionamento da memria exige poucos recursos computacionais e apresenta grande
118
potencialidade na rea da robtica, onde necessrio tratar diretamente o fluxo sensriomotor de robs de forma rpida e econmica. Segundo Moser (2004, p. 93), problemas
temporais que possuem alta correlao temporal (e.g., sinais sensoriais de robs), com ou
sem rudo, provavelmente podem se aproveitar das informaes geradas pela memria.
Em contrapartida, problemas com baixa correlao temporal ou simblicos (e.g., cadeias
de DNA) provavelmente se agravariam com o uso da memria. Cabe ressaltar que a
arquitetura da rede neural modular. Por essa razo, quando desejado, pode-se facilmente
substituir a memria diferenciadora-integradora por outra unidade de memorizao.
Diferentemente da maioria das redes construtivas que necessitam especificar previamente uma taxa de crescimento, a arquitetura da rede neural proposta construda automaticamente ao longo do processo de aprendizagem. Uma unidade de habituao regula
tanto o crescimento quanto a poda do nmero de neurnios da rede neural. As conexes sinpticas so criadas, removidas ou ajustadas de acordo com o mtodo de aprendizado hebbiano competitivo. Por essa razo, a rede neural proposta oferece uma boa
soluo para o dilema da estabilidade-plasticidade, apontado por Stephen Grossberg em
1976 (HAYKIN, 2001, p. 30), e faz uso eficiente de memria se comparada com outras
redes equivalentes (i.e., economia de neurnios e de conexes sinpticas).
A srie de experimentos realizados neste trabalho comprovou o potencial do modelo
neural proposto. Os cenrios abrangeram tarefas simples de classificao de padres
puramente espaciais e segmentao de seqncias temporais. Os resultados preliminares obtidos no Captulo 6 demonstraram a eficincia do modelo neural proposto frente
s arquiteturas conexionistas existentes e foram considerados bastante satisfatrios com
relao aos parmetros avaliados. No entanto, os experimentos certamente no foram
exaustivos e diversas outras aplicaes poderiam ser testadas, como, por exemplo, tarefas
de condicionamento e formao de conceitos em agentes de software inteligentes.
A nosso ver, a grande dificuldade e, ao mesmo tempo, a principal contribuio deste
trabalho residiu em integrar os princpios de auto-organizao, representao temporal e
aprendizado construtivo em uma arquitetura neural de maneira vivel e eficiente soluo
de determinados problemas tericos/prticos de agentes de software inteligentes. Dentre
as limitaes da rede neural proposta pode-se incluir a inexistncia de uma estratgia
de reduo de dimensionalidade, que uma caracterstica inerente de redes neurais que
preservam a topologia do espao de entrada (topology-representing networks).
7.2
Trabalhos futuros
No desenvolvimento deste trabalho inmeras possibilidades de ampliao da proposta

inicial surgiram. Devido complexidade dos objetivos traados e abrangncia de reas
da cincia a serem exploradas, tais ampliaes foram transformadas em propostas de possveis trabalhos futuros. Alm disso, por se tratar de um trabalho consideravelmente exploratrio, existe um extenso campo de pesquisas a ser explorado. A seguir, so discutidos
os principais desdobramentos e direes para o encaminhamento de pesquisas futuras:
Agregar informao armazenada no mapa de caractersticas um segmento sensriomotor. Cada segmento sensrio-motor representaria a percepo e a respectiva tomada de deciso motora do agente de software num instante de tempo qualquer e
poderia ser interpretado como um conceito adquirido pelo agente de software (e.g.,
se detectar um determinado evento sensrio selecionar uma determinada ao motora). Esse mecanismo para formao de conceitos foi proposto originariamente por
Verschure e Pfeifer (1992), cujo trabalho inspirou diversas arquiteturas neurais para
119
agentes de software situados e corporificados. Acredita-se que a informao temporal e o aspecto incremental do mapa de caractersticas auto-organizvel podem
ser de grande utilidade na descoberta de conceitos em ambientes no-estacionrios.
Ampliar os experimentos computacionais descritos no Captulo 6 com tarefas robticas de condicionamento. A idia principal utilizar o modelo neural proposto
para extrair as informaes perceptivas do agente de software e, juntamente com
um sistema de valores previamente definido pelo projetista, associ-las com aes
apropriadas por exemplo, condicionar o agente a identificar uma fonte de alimentao como comestvel ou venenosa atravs do sistema olfativo, independentemente do sistema gustativo. Acredita-se que o mapa de caractersticas pode ser
de grande valia para associar um evento sensrio temporal com um evento motor
caracterstico. Em meados da dcada de 1990, Zrehen e Gaussier (1994) argumentaram que mapas topolgicos so extremamente teis na aprendizagem robtica e,
mais recentemente, uma srie de modelos neurais ontognicos foi proposta na literatura (HARTER; KOZMA; GRAESSER, 2001) com o intuito de resolver tarefas de
condicionamento clssico (e.g., vide (HARTER; KOZMA, 2004)).
Elaborar um controlador interno para ajustar em tempo real os parmetros de vigilncia do modelo. O aprendizado do modelo neural proposto contnuo e relativamente estvel, entretanto, bastante parametrizvel. A influncia dos parmetros
na aprendizagem extremamente dependente das propriedades do ambiente e dos
sensores do agente de software. No h ainda um algoritmo ou uma heurstica para
determinar valores adequados para os parmetros de plasticidade, , e de novidade,
, do modelo. Logo, a escolha desses valores baseada na experincia emprica
do projetista. Uma pesquisa interessante seria propor um mecanismo que calculasse em tempo real e de forma automtica valores timos para os parmetros de
vigilncia, assegurando uma operao realmente autnoma do agente de software.
Modificar a estrutura da rede neural proposta com a adio de uma segunda camada
computacional de neurnios a fim de resolver tarefas de aproximao de funes
e de reconhecimento estatstico de padres. A primeira camada de neurnios seria responsvel por identificar de maneira no-supervisionada um conjunto razoavelmente pequeno de padres, no qual est concentrado o contedo de informao essencial dos dados brutos de entrada. J a segunda camada computacional
de neurnios teria um esquema de aprendizagem supervisionada pela tcnica de
quantizao vetorial por aprendizagem (LVQ) ou atravs de funes de base radial
(RBF) para classificar os padres extrados ou aproximar as funes. Acredita-se
que este mecanismo de aprendizagem semi-supervisionada pode ser utilizado para
solucionar uma ampla classe de problemas robticos por exemplo, estimar o valor
de estados futuros nunca antes visitados com uma preciso razovel.
120
REFERNCIAS
AHRNS, I.; BRUSKE, J.; SOMMER, G. On-line Learning with Dynamic Cell Structures.
In: INTERNATIONAL CONFERENCE IN ARTIFICIAL NEURAL NETWORKS,
1995. Proceedings... Paris, Frana, 1995. p. 141146.
ALAHAKOON, D.; HALGAMUGE, S. K.; SRINIVASAN, B. Dynamic Self-Organizing
Maps with Controlled Growth for Knowledge Discovery. IEEE Transactions on Neural
Networks, New York, v. 11, n. 3, p. 601614, 2000.
ALPAYDIN, E. GAL: Networks that grow when they learn and shrink when they forget.
International Journal of Pattern Recognition and Artificial Intelligence, Berkeley,
v. 8, n. 1, p. 391414, 1994.
ARAJO, A. F. R.; BARRETO, G. de A. Context in Temporal Sequence Processing:
A Self-Organizing Approach and Its Application to Robotics. IEEE Transactions on
Neural Networks, New York, v. 13, n. 1, p. 4557, 2002.
ASHBY, W. R. Design for a Brain: The Origin of Adaptive Behaviour. 2nd ed. London:
Chapman & Hall, 1960. 286 p.
ASHBY, W. R. Uma introduo ciberntica. 2nd ed. So Paulo: Perspectiva, 1970.
345 p.
BARONE, D. Da fsica ao neurnio artificial. In: BARONE, D. et al. (Ed.). Sociedades
Artificiais: A Nova Fronteira da Inteligncia nas Mquinas. Porto Alegre: Bookman,
2003. p. 93126.
BARRETO, G. D. A.; ARAJO, A. F. R. Time in Self-Organizing Maps: An Overview
of Models. International Journal of Computer Research, Huntington, v. 10, n. 2, p.
139179, 2001.
BASTOS, E. N. F. Um estudo sobre sistemas sensrio-motores biologicamente
plausveis. 2005. 53 p. Trabalho Individual (Mestrado em Cincia da Computao)
Instituto de Informtica, UFRGS, Porto Alegre.
BERGLUND, E.; SITTE, J. The Parameterless Self-Organizing Map Algorithm. IEEE
Transactions on Neural Networks, New York, v. 17, n. 2, p. 305316, 2006.
BITTENCOURT, G. Inteligncia Artificial: Ferramentas e Teorias. 2. ed. Florianpolis:
Ed. da UFSC, 2001. 362 p.
121
BLACKMORE, J. Visualizing High-Dimensional Structure with Incremental Grid

Growing Neural Network. 1995. Dissertao (Mestrado) University of Texas at
Austin, Austin.
BLACKMORE, J.; MIIKKULAINEN, R. Visualizing high-dimensional structure with
the incremental grid growing neural network. In: INTERNATIONAL CONFERENCE
ON MACHINE LEARNING, 1995. Proceedings... [S.l.: s.n.], 1995. p. 5563.
BLANK, D. et al. The Pyro toolkit for AI and robotics. AI Magazine, Menlo Park, v. 27,
n. 1, p. 3951, 2006.
BOEKHORST, R. T.; LUNGARELLA, M.; PFEIFER, R. Dimensionality reduction
through sensory-motor coordination. In: JOINT INTERNATIONAL CONFERENCE
ON ARTIFICIAL NEURAL NETWORKS AND NEURAL INFORMATION
PROCESSING, ICANN/ICONIP, 2003. Proceedings... Berlin: Springer, 2003. p.
496503. (Lecture Notes in Computer Science, v. 2714).
BRISTOL, A. S.; PURCELL, A. L.; CAREW, T. J. Habituation. In: ARBIB, M. A. (Ed.).
The Handbook of Brain Theory and Neural Networks. 2nd ed. Cambridge, MA: MIT
Press, 2003. p. 504507.
BROOKS, R. A. A robust layered control system for a mobile robot. IEEE Journal of
Robotics and Automation, New York, v. 2, n. 1, p. 1423, 1986.
BRUSKE, J.; SOMMER, G. Dynamic Cell Structure learns Perfectly Topology
Preserving Map. Neural Computation, Cambridge, MA, v. 7, n. 4, p. 845865, 1995.
BURZEVSKI, V.; MOHAN, C. K. Hierarchical Growing Cell Structures. In:
INTERNATIONAL CONFERENCE ON NEURAL NETWORKS, 1996. Proceedings...
[S.l.: s.n.], 1996. v. 3, p. 16581663.
BUSHNELL, E. M.; BOUDREAU, J. P. Motor development in the mind: The potential
role of motor abilities as a determinant of aspects of perceptual development. Child
Development, [S.l.], v. 64, n. 1, p. 10051021, 1993.
CARPENTER, G. A.; GROSSBERG, S. Adaptive resonance theory. In: ARBIB, M. A.
(Ed.). The Handbook of Brain Theory and Neural Networks. 2nd ed. Cambridge,
MA: MIT Press, 2003. p. 8790.
CHAPPELL, G. J.; TAYLOR, J. G. The Temporal Kohonen Map. Neural Networks,
New York, v. 6, n. 3, p. 441445, 1993.
CLANCEY, W. J. Situated Cognition: on human knowledge and computer
representations. Cambridge, U.K.: Cambridge University Press, 1997. 426 p.
CLARK, A.; THORNTON, C. Trading spaces: Computation, representation, and the
limits of uninformed learning. Behavioral and Brain Sciences, [S.l.], v. 20, n. 1, p.
5790, 1997.
CONNORS, B. W.; BEAR, M. F.; PARADISO, M. A. Neurocincias: Desvendando o
Sistema Nervoso. 2. ed. [S.l.]: Artmed, 2002. 855 p.
122
COSTA, F. A.; ROCHA, L. M. Embodied and Situated Cognition. Artificial Life,

Cambridge, v. 11, n. 1-2, p. 511, 2005.
DENNETT, D. C. Kinds of Minds: Towards an Understanding of Consciousness. [S.l.]:
Basic Books, 1996. 192 p.
DESIENO, D. Adding a Conscience to Competitive Learning. In: INTERNATIONAL
JOINT CONFERENCE ON NEURAL NETWORKS, IJCNN, 1988. Proceedings... Los
Alamitos: IEEE Computer Society, 1988. 1 CD-ROM.
DITTENBACH, M.; MERKL, D.; RAUBER, A. The Growing Hierarchical SelfOrganizing Map. In: INTERNATIONAL JOINT CONFERENCE ON NEURAL
NETWORKS, IJCNN, 2000. Proceedings... Los Alamitos: IEEE Computer Society,
2000. 1 CD-ROM.
DOWNING, K. L. The Predictive Basis of Situated and Embodied Artificial Intelligence.
In: CONFERENCE ON GENETIC AND EVOLUTIONARY COMPUTATION
CONFERENCE, GECCO, 2005, Washington. Proceedings... New York: ACM Press,
2005. p. 4350.
DRESCHER, G. L. Made-Up Minds: A Constructivist Approach to Artificial
Intelligence. [S.l.]: The MIT Press, 1991. 236 p.
DUCH, W.; JANKOWSKI, N. Survey of Neural Transfer Functions. Neural Computing
Surveys, Mahwah, NJ, v. 2, p. 163212, 1999.
DUPUY, J.-P. Nas origens das cincias cognitivas. So Paulo: Ed. da Universidade
Estadual Paulista, 1996. 228 p.
EDELMAN, G. Building a Picture of the Brain. Annals of the New York Academy of
Sciences, New York, v. 78, p. 6889, 1999.
EDELMAN, G. M. Group selection and phasic reentrant signalling: a theory of higher
brain function. In: EDELMAN, G. M.; MOUNTCASTLE, V. B. (Ed.). The Mindful
Brain: Cortical Organization and the Group-Selective Theory of Higher Brain Function.
Cambridge, MA: MIT Press, 1978. p. 51100.
EDELMAN, G. M. Neural Darwinism: The Theory of Neuronal Group Selection. [S.l.]:
Basic Books, 1987.
EDELMAN, G. M. The Remembered Present: A Biological Theory of Consciousness.
[S.l.]: Basic Books, 1989.
EDELMAN, G. M. Biologia da Conscincia: as Razes do Pensamento. [S.l.]: Instituto
Piaget, 1995.
EDELMAN, G. M. Wider Than the Sky: the phenomenal gift of consciousness. [S.l.]:
Yale University Press, 2004.
ELMAN, J. L. Finding Structure in Time. Cognitive Science, Norwood, v. 14, n. 2, p.
179211, 1990.
123
ENGEL, P. M. Redes Neurais Artificiais: Uma Viso Geral das suas Potenciais
Aplicaes. In: FRUM DE INTELIGNCIA ARTIFICIAL DA REGIO SUL, 2.,
2001. Anais... Canoas: Universidade Luterana do Brasil, 2001. 1 CD-ROM.
ENGEL, P. M. Conceitos bsicos da Inteligncia Computacional. Notas de aula da
disciplina CMP121 Redes Neurais do Mestrado em Cincia da Computao, UFRGS.
2005.
ERWIN, E.; OBERMAYER, K.; SCHULTEN, K. Models of Orientation and
Ocular Dominance Columns in the Visual Cortex: A Critical Comparison. Neural
Computation, [S.l.], v. 7, p. 425486, 1995.
ERWIN, E.; OBERMAYER, K.; SHULTEN, K. Self-Organizing Maps: Ordering,
Convergence Properties and Energy Functions. Biological Cybernetics, [S.l.], v. 67, p.
4755, 1992.
FAHLMAN, S. E.; LEBIERE, C. The Cascade-Correlation Learning Architecture. In:
TOURETZKY, D. S. (Ed.). Advances in Neural Information Processing Systems.
Denver: Morgan Kaufmann, 1990. v. 2, p. 524532.
FIESLER, E. Comparative Bibliography of Ontogenic Neural Networks. In:
INTERNATIONAL CONFERENCE ON ARTIFICIAL NEURAL NETWORKS,
ICANN, 1994, Sorrento, Italy. Proceedings... London: Springer-Verlag, 1994. p.
793796.
FIKES, R. E.; NILSSON, N. J. Strips: a New Approach to the Application of Theorem
Proving to Problem Solving. Menlo Park, CA: Stanford Research Institute, 1971.
FLORES, R. Z.; SCHLER, J. ao P. S. Estudos sobre o pensamento evolutivo. In:
EL-HANI, C. N.; VIDEIRA, A. A. P. A evoluo dos algoritmos mentais. Rio de
Janeiro: [s.n.], 2004.
FLORIAN, R. V. Autonomous artificial intelligent agents. 2003. Monografia Center
for Cognitive and Neural Studies, Cluj-Napoca, Romania.
FRANKLIN, S.; GRAESSER, A. Is it an Agent, or Just a Program?: a Taxonomy
for Autonomous Agents. In: ECAI, 1996. Intelligent Agents III, Agent Theories,
Architectures, and Languages: proceedings. Berlin: Springer-Verlag, 1997. p. 2135.
(Lecture Notes in Computer Science, v. 1193).
FRITZKE, B. Growing Cell Structures a Self-Organizing Network in k Dimensions.
In: ALEKSANDER, I.; TAYLOR, J. (Ed.). Artificial Neural Networks. Amsterdam,
Netherlands: North-Holland, 1992. p. 10511056.
FRITZKE, B. Growing Cell Structures A Self-organizing Network for Unsupervised
and Supervised Learning. Neural Networks, New York, v. 7, n. 9, p. 14411460, 1994.
FRITZKE, B. Growing Grid a self-organizing network with constant neighborhood
range and adaptation strength. Neural Processing Letters, Dordrecht, v. 2, n. 5, p. 913,
1995.
124
FRITZKE, B. A Growing Neural Gas Network Learns Topologies. In: TESAURO, G.;
TOURETZKY, D. S.; LEEN, T. K. (Ed.). Advances in Neural Information Processing
Systems. Cambridge, MA: MIT Press, 1995. v. 7, p. 625632.
FRITZKE, B. Growing Self-organizing Networks Why? In: EUROPEAN
SYMPOSIUM ON ARTIFICIAL NEURAL NETWORKS, 4., 1996. Proceedings...
Brussels: D-Facto, 1996. p. 6172.
FRITZKE, B. A self-organizing network that can follow non-stationary distributions.
In: INTERNATIONAL CONFERENCE ON ARTIFICIAL NEURAL NETWORKS,
ICANN, 1997. Proceedings... London: Springer, 1997. p. 613618.
FRITZKE, B. Some Competitive Learning Methods. [S.l.], 1997. 43 p. Disponvel em:
<http://www.neuroinformatik.ruhr-unibochum.de/ini/VDM/research/gsn/JavaPaper/>.
Acesso em: 21 out. 2007.
FRITZKE, B. Unsupervised ontogenic networks. In: FIESLER, E.; BEALE, R. (Ed.).
Handbook of Neural Computation. [S.l.]: Institute of Physics Publishing and Oxford
University Press, 1997. p. C2.4:1C2.4:16.
GIBSON, J. J. The Ecologial Approach to Visual Perception. Boston: Houghton
Mifflin, 1979. 336 p.
GIROSI, F.; JONES, M.; POGGIO, T. Regularization theory and neural networks
architectures. Neural Computation, Cambridge, v. 7, p. 219269, 1995.
GUAZZELLI, A. Do ART 1 ao Fuzzy ARTMAP: Um Estudo Sobre Modelos de Redes
Neurais Artificiais Baseados na Teoria da Adaptao Ressonante (ART). 1992. 61 p.
Trabalho Individual (Mestrado em Cincia da Computao) Instituto de Informtica,
UFRGS, Porto Alegre.
HAGENBUCHNER, M.; SPERDUTI, A.; TSOI, A. C. A Self-Organizing Map for
Adaptive Processing of Structured Data. IEEE Transactions on Neural Networks, New
York, v. 14, n. 3, p. 491505, 2003.
HARTER, D.; KOZMA, R. Aperiodic Dynamics for Appetitive/Aversive Behavior
in Autonomous Agents. In: INTERNATIONAL CONFERENCE ON ROBOTICS &
AUTOMATION, 2004. Proceedings... [S.l.: s.n.], 2004. v. 3, p. 21472152.
HARTER, D.; KOZMA, R. Chaotic Neurodynamics for Autonomous Agents. IEEE
Transactions on Neural Networks, New York, v. 16, n. 3, p. 565579, May 2005.
HARTER, D.; KOZMA, R.; GRAESSER, A. C. Models of Ontogenetic Development for
Autonomous Adaptive Systems. In: ANNUAL CONFERENCE OF THE COGNITIVE
SCIENCE SOCIETY, 23., 2001. Proceedings... [S.l.: s.n.], 2001. p. 405410.
HAYKIN, S. Redes Neurais: Princpios e Prticas. 2. ed. So Paulo: Bookman, 2001.
HEBB, D. The Organization of Behavior. [S.l.]: John Wiley, 1949.
HOCHREITER, S.; SCHMIDHUBER, J. Long Short-Term Memory. Neural
Computation, Cambridge, v. 9, n. 8, p. 17351780, 1997.
125
HODGE, V. J.; AUSTIN, J. Hierarchical Growing Cell Structures: TreeGCS. IEEE

Transactions on Knowledge and Data Engineering, New York, v. 13, n. 2, p. 207218,
2001.
HUNG, C.; WERMTER, S. A Dynamic Adaptive Self-Organising Hybrid Model for
Text Clustering. In: INTERNATIONAL CONFERENCE ON DATA MINING, 3., 2003.
Proceedings... [S.l: s.n.], 2003. p. 7582.
HUNG, C.; WERMTER, S. A Constructive Self-Organising Model for A NonStationary Environment. In: INTERNATIONAL JOINT CONFERENCE ON NEURAL
NETWORKS, IJCNN, 2005. Proceedings... Piscataway, N.J.: IEEE Operation Center,
2005. v. 5, p. 29482953.
HURLEY, S. Perception And Action: Alternative Views. Synthese, [S.l.], v. 129, n. 1, p.
340, 2001.
IZHIKEVICH, E. M. Simple Model of Spiking Neurons. IEEE Transactions on Neural
Networks, New York, v. 14, n. 6, p. 15691572, 2003.
JAMES, D. L.; MIIKKULAINEN, R. SARDNET: A Self-Organizing Feature Map for
Sequences. In: TESAURO, G.; TOURETZKY, D. S.; LEEN, T. K. (Ed.). Advances in
Neural Processing Systems. Cambridge, MA: MIT Press, 1995. v. 7, p. 577584.
JOLLIFFE, I. T. Principal Component Analysis. 2nd ed. New York: Springer, 2002.
K-TEAM: K robots. Yverdon-les-bains, Switzerland: [s.n.], 20022006. Disponvel em:
<www.k-team.com>. Acesso em: 18 ago. 2006.
KANGAS, J. Time-Delayed Self-Organizing Maps. In: INTERNATIONAL JOINT
CONFERENCE ON NEURAL NETWORKS, IJCNN, 1990. Proceedings... [S.l.: s.n.],
1990. v. 2, p. 331336.
KASKI, S.; KANGAS, J.; KOHONEN, T. Bibliography of Self-Organizing Map (SOM)
Papers: 19811997. Neural Computing Surveys, [S.l.], v. 1, p. 102350, 1998.
KASKI, S.; LAGUS, K. Comparing Self-Organizing Maps. In: INTERNATIONAL
CONFERENCE ON ARTIFICIAL NEURAL NETWORKS, ICANN, 1996.
Proceedings... Berlin: Springer, 1996. p. 809814. (Lecture Notes in Computer Science,
v. 1112).
KOHONEN, T. Physiological Interpretation of the Self-Organizing Map Algorithm.
Neural Networks, Oxford, U.K., v. 6, n. 7, p. 895905, 1993.
KOHONEN, T. Self-Organizing Maps. New York: Springer-Verlag, 2001.
KOHONEN, T. The Self-Organizing Map. Proceedings of the IEEE, Piscataway, v. 78,
n. 9, p. 14641480, Sept. 1990.
KOVCS, Z. L. Redes Neurais Artificiais: Fundamentos e Aplicaes. 3. ed. So Paulo:
Livraria da Fsica, 2002. 174 p.
KRICHMAR, J. L.; EDELMAN, G. M. Brain-Based Devices for the Study of Nervous
Systems and the Development of Intelligent Machines. Artificial Life, Cambridge, v. 11,
n. 1-2, p. 6377, WinterSpring 2005.
126
KRICHMAR, J. L.; EDELMAN, G. M. Principles Underlying the Construction of

Brain-Based Devices. In: KOVACS, T.; MARSHALL, J. A. R. (Ed.). Adaptation in
Artificial and Biological Systems. Bristol, U.K.: [s.n.], 2006. p. 3742.
KRUSCHKE, J. K. ALCOVE: An exemplar-based connectionist model of category
learning. Psychological Review, [S.l.], v. 99, n. 1, p. 2244, Jan. 1992.
KUNZE, M.; STEFFENS, J. Growing Cell Structure and Neural Gas: Incremental
Neural Networks. In: AIHEP WORKSHOP, 4., 1995. Proceedings... [S.l.: s.n.], 1995.
LAMBRINOS, D.; SCHEIER, C. Extended Braitenberg Architectures. Paris, 1995.
LAMBRINOS, D.; SCHEIER, C. Building Complete Autonomous Agents: A Case
Study on Categorization. In: IEEE/RSJ INTERNATIONAL CONFERENCE ON
INTELLIGENT ROBOTS AND SYSTEMS. Proceedings... [S.l.: s.n.], 1996. v. 1, p.
170177.
LANG, R.; WARWICK, K. The Plastic Self Organizing Map. In: INTERNATIONAL
JOINT CONFERENCE ON NEURAL NETWORKS, IJCNN, 2002. Proceedings....
[S.l.: s.n.], 2002. v. 1, p. 727732.
LENT, R. Cem Bilhes de Neurnios: Conceitos Fundamentais de Neurocincia. So
Paulo: Atheneu, 2002. 698 p.
LINKER, F.; NIKLASSON, L. Time series segmentation using an adaptive
resource allocating vector quantization network based on change detection. In:
INTERNATIONAL JOINT CONFERENCE ON NEURAL NETWORKS, IJCNN, 2000.
Proceedings... [S.l.: s.n.], 2000. v. 6, p. 323328.
LUNGARELLA, M.; PFEIFER, G. M. R.; SANDINI, G. Developmental robotics: a
survey. Connection Science, Abingdon, v. 15, n. 4, p. 151190, 2003.
MARSLAND, S.; NEHMZOW, U.; SHAPIRO, J. A Model of Habituation Applied to
Mobile Robots. In: TOWARDS INTELLIGENT MOBILE ROBOTS, 1999, Bristol.
Proceedings... Bristol: UWE, 1999.
MARSLAND, S.; NEHMZOW, U.; SHAPIRO, J. On-line novelty detection for
autonomous mobile robots. Robotics and Autonomous Systems, Amsterdam, v. 51, p.
191206, 2005.
MARSLAND, S.; SHAPIRO, J.; NEHMZOW, U. A self-organising network that grows
when required. Neural Networks, New York, v. 15, n. 8, p. 10411058, 2002.
MARTINETZ, T. M. A neural gas network learns topologies. In: INTERNATIONAL
CONFERENCE ON ARTIFICIAL NEURAL NETWORKS, ICANN, 1991.
Proceedings... Amsterdam: Elsevier Science, 1991. p. 397402.
MARTINETZ, T. M. Competitive Hebbian learning rule forms perfectly topology
preserving maps. In: INTERNATIONAL CONFERENCE ON ARTIFICIAL NEURAL
NETWORKS, ICANN, 1993. [S.l.]: Springer, 1993. p. 427434.
MARTINETZ, T. M.; SCHULTEN, K. J. Topology representing networks. Neural
Networks, Oxford, v. 7, n. 3, p. 507522, 1994.
127
MATURANA ROMECIN, H.; MPODOZIS, J. Percepo: configurao do objeto pela

conduta. In: MATURANA ROMECIN, H. et al. A Ontologia da Realidade. Belo
Horizonte: Ed. da UFMG, 1997. p. 67-76.
MATURANA ROMECIN, H.; VARELA, F. F. De mquinas e seres vivos: autopoiese :
a organizao do vivo. 3. ed. Porto Alegre: Artes mdicas, 1997. 138 p.
MATURANA ROMECIN, H.; VARELA, F. F. A rvore do Conhecimento: as bases
biolgicas da compreenso humana. 2. ed. So Paulo: Palas Athenas, 2001. 288 p.
MCCULLOCH, W. S.; PITTS, W. H. A Logical Calculus of Ideas Immanent in Nervous
Activity. Bulletin of Mathematical Biophysics, USA, v. 5, p. 115133, 1943.
MERKL, D. et al. Adaptive Hierarchical Incremental Grid Growing: An architecture
for high-dimensional data visualization. In: WORKSHOP ON SELF-ORGANIZING
MAPS, 4., 2003. Proceedings... [S.l.: s.n.], 2003. p. 293298.
MICHEL, O. Webots: Professional Mobile Robot Simulation. International Journal of
Advanced Robotics Systems, Vienna, v. 1, n. 1, p. 3942, 2004.
MOBILEROBOTS: ActivMedia Robotics. Amherst, NH US: [s.n.], 19952006.
Disponvel em: <www.mobilerobots.com>. Acesso em: 18 ago. 2006.
MLLER, R. Perception Through Anticipation: A Behavior-Based Approach to Visual
Perception. In: RIEGLER, A. et al. (Ed.). Understanding Representation in the
Cognitive Sciences: does representation need reality? New York: Kluwer Academic,
1999. p. 184191.
MOSER, L. D. Modelo de um Neurnio Diferenciador-Integrador para
Representao Temporal em Arquiteturas Conexionistas. 2004. 98 p. Dissertao
(Mestrado em Cincia da Computao) Instituto de Informtica, UFRGS, Porto
Alegre.
MOZER, M. C. Neural net architectures for temporal sequence processing. In:
WEIGEND, A.; GERSHENFELD, N. (Ed.). Predicting the Future and Understanding
the Past. Redwood City: Addison-Wesley, 1993. p. 243264.
MUOZ, M. E. de S. Proposta de um Modelo de Esquema Cognitivo Sensrio-Motor
Inspirado na Teoria de Jean Piaget. 1999. 140 p. Dissertao (Mestrado em Cincia
da Computao) Instituto de Informtica, UFRGS, Porto Alegre.
NEWELL, A.; SIMON, H. A. GPS, a program that simulates human thought. In:
FEIGENBAUM, E. A.; FELDMAN, J. (Ed.). Computers and Thought. New York:
McGraw-Hill, 1963. p. 279293.
NOLFI, S. Power and the Limits of Reactive Agents. Neurocomputing, Amsterdam,
v. 42, n. 1-4, p. 119145, 2002.
NOLFI, S.; PARISI, D. Exploiting the Power of Sensory-Motor Coordination. In:
EUROPEAN CONFERENCE ON ADVANCES IN ARTIFICIAL LIFE, ECAL, 5.,
1999. Advances in Artificial Life: proceedings. Berlin: Springer, 1999. p. 173182.
128
OJA, M.; KASKI, S.; KOHONEN, T. Bibliography of Self-Organizing Map (SOM)

Papers: 19982001 Addendum. Neural Computing Surveys, [S.l.], v. 3, p. 1156, 2002.
OLIVEIRA, F. I. da S. Affordances: a relao entre agente e ambiente. 2005. 99 p.
Dissertao (Mestrado) Universidade Estadual Paulista, Marlia, So Paulo.
PEROTTO, F. S. Inteligncia Artificial Construtivista: uma Nova Perspectiva
Terica Para uma Nova Arquitetura de Agente Computacional Inteligente. 2004. 135 p.
Dissertao (Mestrado em Cincia da Computao) Instituto de Informtica, UFRGS,
Porto Alegre.
PESSOA JR., O. Auto-Organizao e Complexidade: Uma Introduo Histrica
e Crtica. Notas de aula da disciplina FIS-731, Auto-Organizao, Complexidade e
Emergncia, do Mestrado em Ensino, Filosofia e Histria das Cincias, UFBa/UEFS.
2001.
PFEIFER, R.; IIDA, F.; BONGARD, J. New Robotics: Design Principles for Intelligent
Systems. Artificial Life, Cambridge, v. 11, n. 1-2, p. 99120, WinterSpring 2005.
PFEIFER, R.; SCHEIER, C. From Perception to Action: The Right Direction? In:
FROM PERCEPTION TO ACTION CONFERENCE, 1994. Proceedings... Los
Alamitos, CA: IEEE Computer Society Press, 1994. p. 111.
PFEIFER, R.; SCHEIER, C. Sensory-motor coordination: The metaphor and beyond.
Robotics and Autonomous Systems, Amsterdam, v. 20, n. 2-4, p. 157178, 1997.
PFEIFER, R.; SCHEIER, C. Understanding Intelligence. Cambridge, MA: The MIT
Press, 2001.
PIAGET, J. A construo do real na criana. 3. ed. Rio de Janeiro: Zahar, 1979. 360 p.
REEKE, J. G. N.; EDELMAN, G. M. Selective Networks and Recognition Automata.
Annals of the New York Academy of Sciences, New York, v. 426, p. 181201, 1984.
RUSSELL, S.; NORVIG, P. Inteligncia Artificial. [S.l.]: Campus, 2004. 1040 p.
SANTOS, B. A. Aspectos Conceituais e Arquiteturais para a Criao de Linhagens
de Agentes de Software Cognitivos e Situados. 2003. 130 p. Dissertao (Mestrado)
Centro Federal de Educao Tecnolgica de Minas Gerais.
SCHEIER, C.; LAMBRINOS, D. Categorization in a real-world agent using haptic
exploration and active perception. In: INTERNATIONAL CONFERENCE ON
SIMULATION OF ADAPTIVE BEHAVIOR, 4., 1996. From Animals to Animats 4:
proceedings. Cambridge: MIT, 1996. p. 6574.
SCHEIER, C.; PFEIFER, R. Classification as Sensory-Motor Coordination: A Case
Study on Autonomous Agents. In: EUROPEAN CONFERENCE ON ADVANCES
IN ARTIFICIAL LIFE, 3., 1995. Advances in Artificial Life: proceedings. Berlin:
Springer, 1995. p. 657667.
SCHLER, J. P. S. Inteligncia Artificial Popperiana. 2002. 105 p. Dissertao
(Mestrado em Cincia da Computao) Instituto de Informtica, UFRGS, Porto
Alegre.
129
SETH, A. K.; BAARS, B. J. Neural Darwinism and consciousness. Consciousness and

Cognition, Homewood, v. 14, n. 1, p. 140168, 2005.
STRICKERT, M.; HAMMER, B. Self-Organizing Context Learning. In: EUROPEAN
SYMPOSIUM ON ARTIFICIAL NEURAL NETWORKS, 2004. Proceedings... Bruges:
D-Facto, 2004. p. 3944.
SUTTON, R. S.; BARTO, A. G. Reinforcement Learning: An Introduction. Cambridge,
MA: MIT Press, 1998.
THRUN, S. B.; MITCHELL, T. M. Lifelong robot learning. Robotics and Autonomous
Systems, Bonn, v. 15, n. 1, p. 2446, 1995.
VARELA, F. F.; THOMPSON, E.; ROSCH, E. A mente incorporada: cincias
cognitivas e experincia humana. Porto Alegre: Artmed, 2003. 294 p.
VARSTA, M.; HEIKKONEN, J.; MILLN, J. D. R. A Recurrent Self-Organizing
Map for Temporal Sequence Processing. In: INTERNATIONAL CONFERENCE ON
ARTIFICIAL NEURAL NETWORKS, ICANN, 7., 1997, Lausanne, Switzerland.
Proceedings... Berlin: Springer, 1997. p. 421426. (Lecture Notes in Computer Science,
v. 1327).
VERSCHURE, P. F. M. J.; ALTHAUS, P. A real-world rational agent: Unifying old and
new AI. Cognitive Science, Norwood, v. 27, n. 1, p. 561590, 2003.
VERSCHURE, P. F. M. J.; PFEIFER, R. Categorization, Representations, and the
Dynamics of System-Environment Interaction: a case study in autonomous systems. In:
INTERNATIONAL CONFERENCE ON SIMULATION OF ADAPTIVE BEHAVIOR,
1992. From Animals to Animats 2: proceedings. Cambridge: MIT, 1992. p. 210217.
VOEGTLIN, T. Context Quantization and Contextual Self-Organizing Maps. In:
INTERNATIONAL JOINT CONFERENCE ON NEURAL NETWORKS, IJCNN, 2000.
Proceedings... Los Alamitos: IEEE Computer Society, 2000. 1 CD-ROM.
VOEGTLIN, T. Recursive self-organizing maps. Neural Networks, New York, v. 15,
n. 8-9, p. 979991, 2002.
WAZLAWICK, R. Um Modelo Operatrio para a Construo do Conhecimento.
1993. Tese (Doutorado) Universidade Federal de Santa Catarina, Florianpolis.
WERBOS, P. J. Backpropagation Through Time: What It Does and How to Do It.
Proceedings of the IEEE, Piscataway, v. 78, n. 10, p. 15501560.
WILLIAMS, R. J.; ZIPSER, D. A Learning Algorithm for Continually Running Fully
Recurrent Neural Networks. Neural Computation, Cambridge, v. 1, p. 270280, 1989.
ZIEMKE, T. Whats that Thing Called Embodiment? Cognitive Science, Kidlington,
Oxford, v. 27, n. 2, p. 333, 2003. Trabalho apresentado no 25th Annual Meeting of the
Cognitive Science Society.
ZREHEN, S.; GAUSSIER, P. Why Topological Maps Are Useful for Learning in an
Autonomous Agent. In: FROM PERCEPTION TO ACTION CONFERENCE, 1994.
Proceedings... Los Alamitos, CA: IEEE Computer Society Press, 1994. p. 230241.
130
APNDICE A
FERRAMENTA DE SIMULAO ROBTICA
No decorrer da elaborao desta dissertao, uma ferramenta de simulao robtica

foi desenvolvida para auxiliar na modelagem, prototipao e simulao de agentes de
software situados e corporificados. Esta ferramenta foi usada para elaborar todos os experimentos relatados no Captulo 6. Neste apndice, so descritas as caractersticas da
ferramenta de simulao robtica, bem como os principais componentes oferecidos por
ela, a saber: modelos computacionais dos robs Pioneer e Khepera; uma coleo de sensores proprioceptivos e exteroceptivos; e um conjunto de efetuadores robticos.
A.1
Introduo
A simulao computacional constitui um passo muito importante na concepo de sistemas inteligentes, pois no h custos para aquisio, implantao e manuteno mecnica
ou eltrica de robs. Ademais, o controle sobre os parmetros da simulao total, no
h acoplamento entre tempo real e tempo simulado, e os experimentos podem ser repetidos quantas vezes for necessrio, permitindo uma melhor anlise dos dados. No entanto,
apesar dos pontos positivos destacados, sabido que os simuladores necessariamente realizam simplificaes em relao aos fenmenos reais envolvidos, o que impossibilita
retratar fidedignamente a dinmica de um rob fsico e de um ambiente realstico.
Como regra geral, a escolha entre utilizar ambientes de simulao ou construir robs
fsicos deve ser guiada pelas necessidades de projeto e pelo propsito da pesquisa (PFEIFER; SCHEIER, 2001, p. 107). Caso o objetivo seja estudar assuntos tericos (e.g., integrao sensrio-motora, formao de conceitos, navegao autnoma, etc.), os simuladores, via de regra, so ferramentas apropriadas por proporcionar um caminho mais rpido,
econmico e eficaz na obteno e avaliao de alguns resultados experimentais. Esse o
foco do presente trabalho e, portanto, optou-se em utilizar um simulador robtico.
Hoje em dia, existe uma grande disponibilidade de aplicaes comerciais para simulao robtica. A maioria fornece solues altamente poderosas, entretanto, com um
altssimo custo associado, tipicamente na ordem de centenas a milhares de dlares (e.g.,
Webots de Michel, 2004). Muitos pesquisadores e entusiastas da robtica, que no dispem de recursos financeiros, tentam suprir suas necessidades criando seus prprios simuladores alternativos (e.g., The Pyro Toolkit desenvolvido por Blank et al., 2006). A
maior parte deles concebida sob a Licena Pblica Geral (do ingls General Public License, ou simplesmente GNU GPL), para que outras pessoas possam usufruir e contribuir
para seu desenvolvimento. Contudo, o resultado desses esforos costuma ser restrito a um
domnio especfico de aplicao e, geralmente, so de difcil uso e expanso.
Em virtude das razes supracitadas, uma nova ferramenta de simulao robtica foi
desenvolvida dentro do contexto deste trabalho. O objetivo principal proporcionar uma
131
plataforma simples, flexvel e de fcil uso, para viabilizar a modelagem, construo e simulao de agentes de software situados e corporificados. A ferramenta foi implementada
na linguagem de programao Python verso 2.4, a interface grfica foi codificada em Qt
verso 3.3.6 e a gerao de grficos foi realizada atravs da interface pylab da biblioteca
matplotlib verso 0.87. Nenhum componente avanado da linguagem Python foi usado,
sendo possvel modificar e executar a ferramenta em qualquer sistema operacional que
possuir a verso bsica do Python instalada (e.g., Windows, Unix e Macintosh OS X).
A.2
Ambiente de simulao
A interface principal da ferramenta de simulao robtica mostrada na Figura A.1.

As principais funcionalidades so fornecidas pelo menu de comandos e pela barra de botes. O menu File permite inicializar, carregar e salvar uma simulao. O menu View possibilita customizar a rea de visualizao da simulao. O menu Options admite carregar
uma shell interativa para controlar a simulao por linha de comando (vide Figura A.4) e
abrir uma janela para visualizar as mensagens de log. Por fim, o menu Windows permite
selecionar o controlador, os sensores e os efetuadores dos robs para serem inspecionados
durante a simulao. Atravs da barra de botes pode-se iniciar, resetar, executar e parar
a simulao, determinar a velocidade que a simulao executada (0 1000 ms), e ainda
criar vdeos e imagens da simulao realizada para posterior anlise ou publicao.
Figura A.1: Interface principal da ferramenta de simulao robtica.
132
A simulao do ambiente baseada em um mapa bidimensional. Esse mapa pode

ser habitado tanto por recursos quanto por agentes de software, referidos doravante como
robs. Os recursos vo desde esferas at fontes de luz. J os robs tm determinados sensores, efetuadores e uma unidade de controle, onde so estabelecidos os comportamentos
ou as tarefas a serem solucionadas pelo rob. A unidade de controle pode ser codificada
por uma variedade de formalismos (e.g., redes neurais artificiais, lgica fuzzy, etc.). Antes de iniciar a simulao pode-se calibrar os parmetros da unidade de controle atravs
de uma interface de usurio e, a cada passo de simulao, pode-se visualizar graficamente
as propriedades da unidade de controle. As Figuras A.2 e A.3 mostram um exemplo das
interfaces de configurao e de visualizao de uma unidade de controle, respectivamente.
Figura A.2: Exemplo de uma interface de

configurao da unidade de controle
Figura A.3: Exemplo de uma interface de

visualizao da unidade de controle
Durante a simulao possvel interagir com as propriedades e operaes da ferramenta de uma maneira fcil e rpida, conforme apresentado na Figura A.4. Todas as propriedades e os objetos da simulao (e.g., robs, recursos) so acessveis por intermdio
da varivel sim. Por exemplo, o comando r = sim.getRobot(name=RedPioneer)
atribui varivel r a instncia de rob cujo nome de identificao RedPioneer.
Figura A.4: Interface interativa para controle da simulao por linha de comando
133
A.3
Interface de programao de aplicativos
A ferramenta de simulao robtica fornece uma interface de programao de aplicativos (API) para a concepo de novos robs, dispositivos, recursos e ambientes. A
interface de software contm uma srie de rotinas, funes e classes, acessveis somente
por programao e na linguagem de programao Python, que permite realizar um aprimoramento da ferramenta e uma expanso de suas funcionalidades bsicas.
A.4
Robs
Na distribuio bsica da ferramenta so disponibilizados dois modelos de robs, juntamente com um conjunto de sensores e efetuadores robticos. As caractersticas dos dois
modelos de robs fazem meno s possibilidades encontradas em robs reais, a fim de
reduzir o investimento na etapa de transio da simulao para o experimento prtico. A
seguir, so descritos em detalhes os principais componentes oferecidos pela ferramenta.
O modelo de rob Pioneer disponibilizado pela ferramenta de simulao robtica
(vide Figura A.5) inspirado na famlia de robs mveis Pioneer desenvolvido pela empresa MobileRobots. A Figura A.6 apresenta uma fotografia do Pioneer 3-DX. O rob
Pioneer 3-DX equipado com uma cmera de vdeo, um apanhador de objetos com dois
graus de liberdade, dois grupos de oito sonares e um conjunto de sensores de coliso. O
rob est montando sobre um eixo de duas rodas independentes que o permite fazer movimentos de translao e rotao. Para maiores informaes acerca da famlia de robs
Pioneer, consulte (MOBILEROBOTS, 19952006).
Figura A.5: Modelo de rob Pioneer
Figura A.6: Fotografia do Pioneer 3-DX.

Fonte: (MOBILEROBOTS, 19952006)
O modelo de rob Khepera fornecido pela ferramenta de simulao robtica (vide

Figura A.7) inspirado no mini-rob mvel Khepera desenvolvido pela empresa sua KTeam. A Figura A.8 apresenta uma fotografia do Khepera II. O rob se move atravs de
duas rodas fixas impulsionadas por motores de corrente contnua independentes, e dispe
de mdulos suplementares de viso, telemetria e garra mecnica. Em sua circunferncia
existem oito sensores de infravermelho que detectam a proximidade de obstculos. Para
maiores informaes acerca do rob Khepera II, consulte (K-TEAM, 20022006).
134
Figura A.7: Modelo de rob Khepera
A.5
Figura A.8: Fotografia do Khepera II.

Fonte: (K-TEAM, 20022006)
Sensores robticos
Uma importante caracterstica de um rob mvel a capacidade de agir no ambiente

a partir de informaes obtidas de seu sistema sensorial. A capacidade de sensoriamento
imprescindvel para que o rob consiga operar em um ambiente dinmico. Um sensor
um dispositivo capaz de detectar e quantificar parmetros especficos atravs de elementos
que transformam uma grandeza fsica em outra. Basicamente, h dois tipos de sensores:
proprioceptivos e exteroceptivos. A Tabela A.1 apresenta os sistemas de sensoriamento
que foram codificados para os dois robs simulados.
Tabela A.1: Sensores robticos presentes nos robs simulados Pioneer e Khepera
Classe
Nome
Descrio
Proprioceptivo
Battery-energy-level
Sensor de carga de bateria para verificar o nvel de

energia do rob
Sensor para estipular o deslocamento percorrido
pelo rob no ambiente
Sensor baseado em contato fsico para detectar a
coliso do rob com objetos
Sensor baseado em ultra-som para estimar a distncia do rob a objetos
Sensor para estimar a intensidade de luz ambiental
Sensor para detectar a superfcie de materiais que
se encontram no cho do ambiente
Sistema de posicionamento global para verificar a
posio do rob no ambiente
Sistema de viso baseado em uma cmera 2D
Sensor ttil para detectar objetos situados entre a
garra do rob
Odometry
Exteroceptivo
Bumper-sensor
Sonar-sensor
Light-sensor
Floor-sensor
Global-positioning-system
Camera-sensor
Gripper-sensor
Os sensores proprioceptivos so usados para medir valores internos do rob como,

por exemplo, verificar o nvel de carga disponvel na bateria ou medir a velocidade e a
acelerao das rodas do rob. J os sensores exteroceptivos so utilizados para determinar
135
o estado do ambiente por exemplo, detectar obstculos, estimar a distncia de objetos,

determinar a intensidade de luz ambiental ou, at mesmo, verificar a posio real do rob
no ambiente atravs de um sistema de posicionamento global.
A cada passo de simulao possvel visualizar as informaes obtidas por cada sensor, conforme ilustrado nas Figuras A.9, A.10, A.11 e A.12 referente ao rob simulado
Pioneer. Pode-se constatar que uma coliso esquerda do rob ocorreu ou est prestes a acontecer, pois existe uma alta ativao nos sensores de coliso (bumper-sensor)
e de distncia (sonar-sensor) do grupo lgico left-all (vide itens 0, 1, 2, 13, 14 e 15 na
Figura A.14). De forma anloga, pode-se verificar uma fonte de luz sendo captada na
parte direita do rob, haja vista a forte ativao nos sensores de presena de luminosidade
(light-sensor) dos grupos lgicos right e back-right (vide itens 7, 8, 9 e 10 na Figura A.14).
Figura A.9: Interface do

sensor de contato fsico

sensor de alcance

sensor de deteco de luz
O sistema de viso do rob composto por duas etapas distintas: aquisio e processamento visual. Em um primeiro momento, o rob obtm uma imagem visual a partir de
sua cmera de viso bidimensional (vide Figura A.12). Aps, a unidade de controle do
rob pode aplicar inmeros filtros na imagem original (vide Figura A.13), a fim de resolver determinadas tarefas no ambiente (e.g., encontrar esferas da cor verde). O mdulo de
processamento de imagens foi adquirido do toolkit robtico Pyro (BLANK et al., 2006).
Figura A.12: Interface do sistema de viso baseado em uma cmera 2D
Figura A.13: Imagem obtida aps aplicar

uma srie de filtros arbitrrios
136
As Figuras A.14 e A.15 apresentam um diagrama esquemtico da morfologia dos

robs Pioneer e Khepera, respectivamente. Os nmeros indicam as respectivas posies
dos sensores exteroceptivos presentes nos robs simulados.
17
18
front-all
front
fr
t
on
-l e
ft
fr o
nt
- ri
16
left
left-all
gh
right
15
8
14
ba
ck
-le
right-all
9
13
ft
10
12
c
ba
11
rig
k-
ht
back
back-all
Figura A.14: Morfologia do rob Pioneer. Os sensores bumper-sensor, sonar-sensor e

light-sensor esto localizados nas posies {0..15}. O sistema de viso tem a faixa de
operao no intervalo [1, 6]. Os sensores floor-sensor e global-positioning-system esto
situados na posio 16. Os sensores da garra esto dispostos nas posies 17 e 18.
9
10
front-all
front
left
ht
fr o
rig
n t-
n t-
lef
fr o
right
8
left-all
right-all
6
back
ba
ck
lef t
back-all
ck
ba ht
rig
Figura A.15: Morfologia do rob Khepera. Os sensores bumper-sensor, sonar-sensor e

light-sensor esto localizados nas posies {0..7}. O sistema de viso tem a faixa de
operao no intervalo [1, 4]. Os sensores floor-sensor e global-positioning-system esto
situados na posio 8. Os sensores da garra esto dispostos nas posies 9 e 10.
137
De acordo com o princpio da redundncia discutido na Seo 2.3.6.2, os sensores

devem estar posicionados no rob de tal forma que exista uma sobreposio espacial
nas informaes adquiridas do meio. Por esse motivo, os mltiplos sensores dos robs
simulados esto sobrepostos uns aos outros. Por exemplo, na posio 1 h quatro tipos de
sensores exteroceptivos em operao: bumper-sensor, sonar-sensor, light-sensor e visualsensor. Por convenincia, aqueles sensores que tm direes similares so reunidos em
grupos lgicos. Por exemplo, no rob simulado Pioneer os sensores de nmero 0, 1 e 2
pertencem aos grupos lgicos front-left e left-all.
A.6
Efetuadores robticos
Efetuador robtico um termo genrico que define qualquer componente que permita
a um rob exercer alguma ao no ambiente, como, por exemplo, deslocar-se a algum
local ou manusear determinados tipos de objetos. Na literatura, o termo efetuador robtico
muitas vezes confundido com o termo atuador robtico. Atuador robtico meramente
o mecanismo que habilita o efetuador a realizar a sua ao e tipicamente so motores
eltricos, pistes hidrulicos e pistes pneumticos. Os robs simulados da ferramenta de
simulao proposta dispem de trs efetuadores, conforme est descrito na Tabela A.2.
Tabela A.2: Efetuadores robticos presentes nos robs simulados Pioneer e Khepera
Nome
Descrio
Wheel-motors
Dois motores independentes acoplados s rodas do rob que o possibilita realizar movimentos de translao (para frente e para trs) e rotao (giro no
sentido horrio e anti-horrio) ao mesmo tempo
Um controlador de cmera de vdeo que permite o rob ampliar e modificar o
ngulo de viso da imagem captada
Uma garra com uma nica articulao (em ingls, Degree of Freedom, DOF)
para o rob conseguir manipular os objetos presentes no ambiente
Camera-control
Gripper-control
A.7
Consideraes do apndice
Este apndice descreveu a ferramenta de simulao robtica desenvolvida dentro do

contexto deste trabalho de mestrado. Esta ferramenta consiste em um framework suficientemente genrico para modelagem, prototipao e simulao robtica e est fortemente
embasada nos princpios de agentes de software situados e corporificados.
Com o intuito de pesquisar a sua aplicabilidade, foram elaborados variados estudos de
caso (no descritos no texto) com os seguintes mtodos: controle adaptativo distribudo1
(DAC), arquitetura estendida de Braitenberg2 (EBA), arquitetura de subsuno3 e coordenao sensrio-motora4 (SMC). Estas simulaes no tiveram carter validatrio, todavia
buscaram aplicar as tcnicas e mecanismos difundidos na literatura em um ambiente fictcio, a ttulo de experimentao e anlise de resultados. Os resultados obtidos com os
experimentos de simulao foram satisfatrios, demonstrando o potencial e a viabilidade
tcnica da ferramenta, e sero motivo de uma publicao futura.
1
PFEIFER; SCHEIER, 2001, p. 152165.

Ibid., p. 181197.
3
Ibid., p. 199255.
4
Ibid., p. 408417.
2

Uma Rede Neural Auto-Organizável Construtiva para Aprendizado Perpétuo de Padrões Espaço-Temporais

Caricato da

Informazioni sul documento

Descrizione originale:

Titolo originale

Copyright

Formati disponibili

Condividi questo documento

Condividi o incorpora il documento

Opzioni di condivisione

Hai trovato utile questo documento?

Questo contenuto è inappropriato?

Copyright:

Formati disponibili

Uma Rede Neural Auto-Organizável Construtiva para Aprendizado Perpétuo de Padrões Espaço-Temporais

Caricato da

Copyright:

Formati disponibili

UNIVERSIDADE FEDERAL DO RIO GRANDE DO SUL

EDUARDO NUNES FERREIRA BASTOS

Uma Rede Neural Auto-Organizvel

Dissertao apresentada como requisito parcial

Prof. Dr. Paulo Martins Engel

Porto Alegre, agosto de 2007

CIP CATALOGAO NA PUBLICAO

UNIVERSIDADE FEDERAL DO RIO GRANDE DO SUL

Dedico este trabalho minha famlia e minha namorada Karina

LISTA DE ABREVIATURAS E SIGLAS . . . . . . . . . . . . . . . . . . . .

2 FUNDAMENTOS DE CINCIAS COGNITIVAS .

3 FUNDAMENTOS DE REDES NEURAIS ARTIFICIAIS

5 PROPOSTA DE REDE NEURAL ARTIFICIAL . . . .

7 CONCLUSES E TRABALHOS FUTUROS . . . . . . . . . . . . . . . 117

LISTA DE ABREVIATURAS E SIGLAS

Adaptive Linear Element

Adaptive Hierarchical Incremental Grid Growing

Application Programming Interface . . . . . . . . . . . . . . . . 133

Adaptive Resource Allocating Vector Quantization . . . . . . . .

Adaptive Resonance Theory . . . . . . . . . . . . . . . . . . . .

Adaptive Resonance Theory . . . . . . . . . . . . . . . . . . . .

Backpropagation Through Time . . . . . . . . . . . . . . . . . .

Competitive Hebbian Learning . . . . . . . . . . . . . . . . . .

Contextual Self-Organizing Map

Distributed Adaptive Control . . . . . . . . . . . . . . . . . . . 137

Dynamic Adaptive Self-Organising Hybrid Model . . . . . . . .

Extended Braitenberg Architecture . . . . . . . . . . . . . . . . 137

Growing Cell Structures . . . . . . . . . . . . . . . . . . . . . .

Growing Dynamical Cell Structure . . . . . . . . . . . . . . . .

Growing Hierarchical Self-Organizing Map

Growing Neural Gas . . . . . . . . . . . . . . . . . . . . . . . .

General Public License

Growing Self-Organizing Map

Growing Temporal Self-Organizing Map . . . . . . . . . . . . .

Grow When Required . . . . . . . . . . . . . . . . . . . . . . .

Hierarchical Growing Cell Structures . . . . . . . . . . . . . . .

Habituating Self-Organizing Map . . . . . . . . . . . . . . . . .

Incremental Grid Growing

Long-Term Memory . . . . . . . . . . . . . . . . . . . . . . . . 105

Merging Self-Organizing Map

Plastic Self-Organizing Map

Redes Neurais Artificiais

Recurrent Self-Organizing Map . . . . . . . . . . . . . . . . . .

Real-Time Recurrent Learning

Sequential Activation Retention and Decay NETwork . . . . . .

Self-Organizing Map for Structured Data . . . . . . . . . . . . .

Time-Delayed Self-Organizing Map

Temporal Kohonen Map . . . . . . . . . . . . . . . . . . . . . .

Theory of Neuronal Group Selection . . . . . . . . . . . . . . .

Tree Growing Cell Structures . . . . . . . . . . . . . . . . . . .

A trilogia do agente de software inteligente idealizado. . . . . . . . .

A viso tradicional do processamento de informao . . . . . . . . .

Elementos bsicos de um neurnio biolgico . . . . . . . . . . . . .

Representao grfica de uma memria de atraso k. . . . . . . . . . .

Representao grfica da unidade de memorizao. . . . . . . . . . .

Representao grfica da unidade de habituao. . . . . . . . . . . .

Elementos bsicos da rede neural proposta. . . . . . . . . . . . . . .

Mapeamento implementado pela rede neural proposta. . . . . . . .

Insero de um novo neurnio na rede neural proposta. esquerda,

Remoo de neurnios na rede neural proposta. Os nmeros reais

Arquitetura simplificada da rede aplicada tarefa de quantizao vetorial. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

Simulao de uma distribuio de dados em forma de quadrado com