Documenti di Didattica
Documenti di Professioni
Documenti di Cultura
Este apndice tem por objetivo fornecer apoio para uma melhor compreenso da
abordagem sobre RBF apresentada no Captulo 3. Aborda-se a fisiologia neural, a juno
sinptica, funes de ativaes, arquitetura das redes neurais artificiais e perceptrons de
mltiplas camadas
(3)
(4)
(1)
(2)
(5)
(6)
(7)
.
Dendritos
Transferncia
de
informao
Axnio
Impulso nervoso
.
composto por conjunto de sinapses (ou elos de conexo), somador e funo de ativao,
mostrada na Figura 34. O conjunto de sinapses, cada um dos quais, caracterizado por
um peso ou fora prpria. Especificamente, um sinal xj na entrada da sinapse j conectada
ao neurnio k multiplicado pelo peso sinptico wkj . Onde o primeiro subscrito em wkj
refere-se ao neurnio em questo, e o segundo subscrito refere-se ao final da entrada da
sinapse a que se refere o peso. E por fim,a funo de ativao vem para limitar a amplitude
da sada do neurnio. A funo de ativao tambm referida como uma funo restritiva,
na medida em que restringe (limita) o intervalo permissvel de amplitude do sinal de sada
a um valor finito.
Figura 34 Modelo no-linear de um neurnio.
Funo
de
ativao
Pesos
sinapses
.
Sendo, x1 , x2 , ..., xm os sinais de entrada e wk1 , wk2 , ..., wkm so os respectivos pesos sinp-
ticos do neurnio k; uk a sada do combinador linear devido aos sinais de entrada; bk o
bias; () a funo de ativao; e yk o sinal de sada do neurnio. O uso do bias bk tem
o efeito de aplicar uma transformao afim sada uk do combinador linear no modelo
dado por
k = uk + bk . (B.3)
Apndice B. Conceitos de Redes Neurais Artificiais 94
Os bias bk podem ser positivo ou negativo. A relao do campo induzindo local ou potencial
de ativao, vk do neurnio k e a sada de combinador linear uk dada pola Eq. B.3. O
bias bk um parmetro externo do neurnio artificial k. Considerando a Eq. (B.2) e com
manipulaes algbricas da Eq. (B.1) e Eq. (B.3), pode-se formular a expresso:
m
X
k = wkj xj (B.4)
j=0
yk = (k ) (B.5)
Na Eq. (B.4) tem-se a adio de uma nova sinapse e fazendo a entrada x0 = +1 com peso
wk0 = bk obtm-se um modelo no-linear do neurnio, uma ilustrao desse modelo neural
visto na Figura 35.
Aumentando
Fonte: AUTOR
Apndice B. Conceitos de Redes Neurais Artificiais 98
sinpticos. A memria de curto prazo em redes neurais modelada pelo estado de ativao
da rede. A memria de longo prazo corresponde informao do padro codificada nos
pesos sinpticos devido aprendizagem. As leis de aprendizagem so meramente modelos
de implementao da dinmica sinptica. Para a representao do conhecimento tem-se
quatro regras, que so de natureza do senso comum:
Mtodo de Newton
O mtodo de Newton tem uma ideia bsica de minimizar a aproximao quadrtica
da funo de custo E , em torno do ponto corrente w(n) expressa por
H = 2 E (w)
2E 2E 2E
w12 w1 w2 w1 wM
2E 2E 2E
w w
= 2 1 w22 w2 wM
(B.18)
.. .. ..
..
. . . .
2 2 2
E E E
2
wM w1 wM w2 wM
Mtodo de Gauss-Newton
O mtodo de Gauss-Newton baseado na funo de custo expressa por uma soma
dos erros quadrados dada por
n
1X
E (w) = e2 (i) (B.19)
2 i=1
de foma que o erro calculado com base em e(i) = d(i) y(i), com d(i) sendo a
resposta desejada e y(i) a sada da rede. Pode-se verificar a Figura 41 e obter
facilmente a Eq.(B.20) a parte da Eq. (B.10),
m
X
y(i) = (i) = wi xi + b (B.20)
i=1
O sinal de erro uma funo do vetor de peso ajustvel. Para uma equivalncia,
com manipulaes lineares, pode-se escrever na forma modificada (HAYKIN et al.,
2009), expressa por
em que f uma funo de ativao, do tipo logstica, j descrita na Seo (B.1.3) ou uma
Funo de Base Radial da Seo (3.3.2).
Apndice B. Conceitos de Redes Neurais Artificiais 101
Camada
1 camada 1 2 camada de
camada oculta Sada
.
em que wji (n), , j (n) e yi (n) a correo dos pesos, taxa de aprendizado, gradiente
local e sinal de entrada do neurnio j.
O critrio de convergncia sensvel para aprendizado por retropropagao consi-
derar que o algoritmo tenha convergido quando a norma euclidiana do vetor gradiente
alcanar um limiar suficientemente pequeno (KRAMER; SANGIOVANNI-VINCENTELLI,
1989). Outra propriedade utilizada para considerar que o algoritmo de retropropagao
tenha convergido quando a taxa absoluta de variao do erro mdio quadrado por poca
for suficientemente pequena (HAYKIN et al., 2009) (PHAM; LIU, 1995).