ApresentacaoNilo Final PDF

Modelo de Reconhecimento de Padrões
Estímulo-Dependente
Nilo Barrantes Melgar

Evaldo Mendonça Fleury Curado
CBPF
27 de maio de 2019
Nilo Barrantes Melgar (CBPF) MRED 27 de maio de 2019 1 / 44

Conteúdo
1 Introdução
2 Justificativa
3 Objetivos
4 Fundamentação Teórica
Neurônio Biológico
Neurônio de McCulloch e Pitts
Hipótese de Hebbs
Rede Neuronal de Hopfield
5 Metodologia
Rede Neuronal Estímulo-Dependente (RNED)
Estimativa do κ ótimo
6 Resultados
7 Conclusão
8 Propostas

Conteúdo
1 Introdução
2 Justificativa
3 Objetivos
Hipótese de Hebbs
5 Metodologia
6 Resultados
7 Conclusão
8 Propostas

O Cérebro Biológico
Figura: Desenho cerebro.
capacidade de armazenamento ∼ 1015

neurônios no córtex cerebral ∼ 1010

um neurônio tem em media ∼ 103
Nilo Barrantes Melgar (CBPF) Introdução 27 de maio de 2019 4 / 44
Conteúdo
1 Introdução
2 Justificativa
3 Objetivos
Hipótese de Hebbs
5 Metodologia
6 Resultados
7 Conclusão
8 Propostas
Nilo Barrantes Melgar (CBPF) Introdução 27 de maio de 2019 5 / 44

Justificativa
As redes neuronais de memória associativa têm um número de

estados estáveis p que cresce linearmente com N.
Segundo Sompolinsky, o número de pontos estáveis p cresce

exponencialmente com N.
O cérebro biológico não tem as limitações de uma rede neural de

Hopfield.
É possível supor que o cérebro se comporta como um sistema

sinal+ruído.
Nilo Barrantes Melgar (CBPF) Justificativa 27 de maio de 2019 6 / 44

Conteúdo
1 Introdução
2 Justificativa
3 Objetivos
Hipótese de Hebbs
5 Metodologia
6 Resultados
7 Conclusão
8 Propostas
Nilo Barrantes Melgar (CBPF) Justificativa 27 de maio de 2019 7 / 44

Objetivos
Propor uma perspectiva diferente do processo de reconhecimento

no cérebro.
Apresentar um novo modelo de rede neuronal e estudar suas

caraterísticas.
Nilo Barrantes Melgar (CBPF) Objetivos 27 de maio de 2019 8 / 44

Conteúdo
1 Introdução
2 Justificativa
3 Objetivos
Hipótese de Hebbs
5 Metodologia
6 Resultados
7 Conclusão
8 Propostas
Nilo Barrantes Melgar (CBPF) Objetivos 27 de maio de 2019 9 / 44

Nós utilizamos essa abordagem
Figura: Diagrama Esquemático de um neurônio

Nilo Barrantes Melgar (CBPF) Fundamentação 27 de maio de 2019 10 / 44
Neurônio de McCulloch e Pitts (1943)
Figura: Diagrama Esquemático do neurônio Formal
P
xi (t + 1) = U j wij xj (t) − θi

Regra de Hebbs
Hipótese de Hebbs
"Quando um axônio da célula A
está próximo o suficiente de uma
célula B para excitá-la e, participa
de maneira repetida ou persistente
de sua ativação, ocorre algum
processo de crescimento ou
alteração metabólica em uma das
células ou em ambas, de modo
que a eficiência da célula A, como
uma das células que ativa a célula
B, é aumentada".

Sistema formado por N neurônios formais Si , totalmente
interconectados. Cada neurônio pode estar ou no estado de
disparo (Si = +1) ou no estado quiescente (Si = −1).
Os estados do sistema são dados pelo conjunto de variáveis
S = (S1 , . . . , SN ) . (1)
A eficacia sináptica do neurônio j sobre o neurônio i, Jij , obedece

a regra de Hebb,
p
1 X µ µ
Jij = ξi ξj [1 − δ (i − j)] , (2)
N
µ=1
onde δ (x) de Kronecker é igual a 1 se x = 0, e zero em outros

casos. Os p conjuntos ξ µ = ξ1µ , . . . , ξNµ , ξiµ = ±1 são
configurações da rede fixadas pelo processo de aprendizagem.
Estas entradas, são usualmente escolhidas aleatória e
independentemente com igual probabilidade, ou seja,
1
P ξiµ = δ ξiµ − 1 + δ ξiµ + 1 .

(3)
2
Usualmente, assumem-se estes padrões como temperados, ou
seja, a performance da rede é analisada mantendo os valores
sinápticos fixos.
A energia do sistema é dada pelo Hamiltoniano
N N N p
X 1 X 1 XX µ µ
H=− hi Si = − Jij Si Sj = − ξi ξj Si Sj , (4)
2 2N
i=1 i, j=1 i, j=1 µ=1
onde o campo molecular que age sobre o neurônio i, é

N
X
hi = Jij Sj . (5)
j6=i

Rede neural de Hopfield
Essa rede funciona como uma memória associativa: definindo a
rede em um padrão ξ µ (ou próximo a ξ µ ), ela relaxa sob uma
dinâmica apropriada em direção a um estado estacionário
próximo.
Considera-se que o sistema evolui, obedecendo a dinâmica de
Glauber para redes sem ruído, ou seja
Si (t + 1) = sign [hi (t)] . (6)
A proximidade entre os estados α e β é medida pela

sobreposição mαβ , dada por
N
1X α β
mαβ = Si Si . (7)
N
i=1
Essa magnetização, pode ser calculada em alguns casos, usando

o método de réplicas.
Conteúdo
1 Introdução
2 Justificativa
3 Objetivos
Hipótese de Hebbs
5 Metodologia
6 Resultados
7 Conclusão
8 Propostas

Nilo Barrantes Melgar (CBPF) Metodologia 27 de maio de 2019 17 / 44

Numa rede de Hopfield sobrecarregada (p αN), generaliza-se

o campo molecular, adicionando o termo ’campo externo’, da
forma
N
X
hiext = κ ηi . (8)
i=1
hi aponta ao padrão ’marcado’ η, beneficiando seu

reconhecimento.
κ, é auto regulável e representa o esforço do cérebro em reduzir o
ruído do sistema.
ηi , obedece a seguinte distribuição de probabilidade
P (ηi ) = γδ ηi − ξiθ + (1 − γ) δ ηi + ξiθ ,

(9)
onde γ indica uma perturbação do padrão η respeito de ξ θ .

Rede Neuronal Estímulo-Dependente
O campo molecular total, que age sobre o neurônio i, no modelo

RNED, será
N
X N
X
hi = Jij Sj + κηi . (10)
j6=i i=1


RNED, será
N
X N
X
j6=i i=1
Em consequência, o Hamiltoniano do sistema RNED, H, terá a

forma
p N
1 XX µ µ X
H=− ξi ξj Si Sj − κηi Si . (11)
2N
i, j µ=1 i=1


RNED, será
N
X N
X
j6=i i=1
Em consequência, o Hamiltoniano do sistema RNED, H, terá a

forma
p N
1 XX µ µ X
H=− ξi ξj Si Sj − κηi Si . (11)
2N
i, j µ=1 i=1
O sistema evoluirá obedecendo a condição de alinhamento com

seu campo molecular,
Si hi > 0. (12)

No estado metaestável Si = ξiθ , ∨i, com Jij , fazemos a decomposição

coerente e incoerente da eq. (10), obtendo-se:
Sinal (1)
p N N
N −1 θ 1 XX µ µ θ X
hi = ξi + ξi ξj ξj + κηi
N N
µ6=θ j6=i i=1


Sinal (1)
p N N
N N
µ6=θ j6=i i=1
p
Ruído ( (N − 1) (p − 1)/N = α)


Sinal (1)
p N N
N N
µ6=θ j6=i i=1
p
Ruído ( (N − 1) (p − 1)/N = α)
√
Campo Externo (κO = α)

Teoria de réplicas
A grandeza de interesse a ser calculada no sistema RNED, é a

energia livre média por neurônio
−1
f (β) = lim hln Ziξ , (13)
N→∞ βN
onde h. . .iξ indica a média sobre o desordem temperado ξiµ .

Devido a dificuldade de calcular hln Ziξ , usamos o método de

réplicas, que é essencialmente a identidade
Zn − 1
ln Z = lim . (14)
n→0 n

Teoria de réplicas
Assim, a energia livre, toma a forma

n
−1 hZ iξ − 1
f (β) = lim lim . (15)
N→∞ n→0 βN n
Z n pode ser expressa como

n n
!
Y X
Zn = Za = Tr exp −β Ha , (16)
a=1 {Si }
a
a=1
sendo a uma etiqueta fictícia. O conjunto a = 1, . . . , n

interpreta-se como réplicas idênticas, não interagentes entre si,
do sistema real.

Parâmetros de Ordem
Seguindo os passos de Amit et al. [1987] e tendo em conta que
quando N → ∞, a aproximação de ponto-sela pode ser usada na eq.
(15), f pode-se expressar em termos dos seguintes parâmetros de
ordem:
(a) a sobreposição macroscópica com s padrões marcados
N
* +
ν 1X ν a
ma = ξi hSi iT , (17)
N
i=1 ξ
(b) o parâmetro de ordem de Edwards-Anderson
N
* +
1 X a D bE
qab = hSi iT Si , (18)
N T
i=1 ξ
(c) o ruído devido aos p − s padrões não recuperados
p
1 X
µ µ
rab = ma mb ξ , (19)
α
µ=s+1
Parâmetros de Ordem
A energia livre por neurônio é então dada por
n s n
α 1 X X ν 2 αβ X
f = + (ma ) + rab qab
2 2n 2n
a=1 ν=1 a6=b
α 1 D E
+ Tr [ln ((1 − β) I − βQ)] − hln Z0 iη ν .
2βn βn ξ
O operador Z0 , é dado por

  
n
2 X n X
s n
αβ X X
Z0 = Tr exp  rab S a S b + β maν ξ ν S a + βκ ηS a  ,
Sa 2
a6=b a=1 ν=1 a=1
Z
onde h. . .iη ≡ (. . .) P (η) dη refere-se à média sobre os η e h. . .iξν
indica uma média sobre os padrões condensados ξ ν ’s.
Teoria de simetria de réplica
Na simetria de réplica
maν = mν qab = q (a 6= b) rab = r (a 6= b) . (20)
Quando n → ∞ obtemos, para a energia livre:

s
α 1 X ν 2 αβ
f = + (m ) + r (1 − q)
2 2 2
ν=1

α βq
+ ln (1 − β + βq) −
2β 1 − β + βq
s
** " !#+ +
1 √ X
− ln 2 cosh β z αr + mν ξ ν + κη ,
β
ν=1 η z
Z 2
dz z
onde h. . .iz ≡ √ exp − h. . .iξν .
2π 2
Equações de ponto-sela
A variação de f com respeito aos parâmetros de ordem proporciona

as equações de ponto-sela
D √ E
θ θ θ θ
m = ξ tanh β z αr + m ξ + κη ,
η z
D √ E
2 θ θ
q = tanh β z αr + m ξ + κη ,
η z
q
r = . (21)
(1 − β + βq)2

Equações de ponto-sela em T=0
Campo acoplado com um único padrão
Na chamada "fase de recuperação ferromagnética" (mν = mδ νρ ), ou

seja, soluções com uma única sobreposição finita. Observa-se que no
limite T → 0 (ou β → ∞);
Z Z x/A
dz −z 2 /2 2
√ e tanh β (A z + x) → √ dz exp −z 2
2π π 0
√
≡ erf x/ 2A (22)
e que
r
x2
Z
dz 2 1 2
√ e−z /2 tanh2 β (A z + x) → 1 − exp − 2 .(23)
2π βA π 2A
Observe-se que a eq. (22) foi reescrita usando a função erro, erf (x),
definida por Z x
2
erf (x) = √ dz exp −z 2 . (24)
π 0
Equações de ponto sela em T=0
No limite de temperatura zero, as equações de ponto-sela, tornam-se

(vide Amit et al. [1987])

m+κ m−κ
m = γerf √ + (1 − γ) erf √
2αr 2αr
1
q = 1− C
β
1
r '
(1 − C)2
onde
r ( " 2 # " 2 #)
2 mθ + κ mθ − κ
C= γ exp − + (1 − γ) exp − .
παr 2αr 2αr
(25)

Solução das Equações
√ √
Usando convenientemente as variáveis m = y 2αr e κ = x 2αr para
reescrever as equações anteriores, obtém-se
γerf (y + x) + (1 − γ) erf (y − x)
y = √ h 2 2
i,
2α + √2π γe−(y +x) + + (1 − γ) e−(y −x)
m = γerf (y + x) + (1 − γ) erf (y − x) . (26)
Se γ = 1(e κ = h), recupera-se as eq. no caso do reconhecimento de
um padrão armazenado,
erf (y + x)
y=√ 2
, m = erf (y + x) . (27)
2α + √2 e−(y +x)
π
Quando y + x → x, obtém-se as eq. de reconhecimento de um padrão

não armazenado
erf (x)
y=√ , m = erf (x) . (28)
2α + √2π e−x 2

Conteúdo
1 Introdução
2 Justificativa
3 Objetivos
Hipótese de Hebbs
5 Metodologia
6 Resultados
7 Conclusão
8 Propostas

Resolução numérica usando Maple
A seguir, serão apresentadas as equações trabalhadas no Maple.
Para o modelo RNED:
√ 2

−( m+κ
2 m−κ 2

x = 2α + √ γe x ) + (1 − γ) γe− ( x ) ,
π

m+κ m−κ
m = γerf + (1 − γ) erf , (29)
x x
√
onde x = 2αr .
Para o reconhecimento de um padrão armazenado:
√ 2 −( m+κ )2

m+κ

x = 2α + √ e x , m = erf . (30)
π x
Para o reconhecimento de um padrão ortogonal
√ 2 κ 2
κ
x= 2α + √ e−( x ) , m = erf . (31)
π x
Nilo Barrantes Melgar (CBPF) Resultados 27 de maio de 2019 31 / 44
Resultados
Reconhecimento de um padrão armazenado
Figura: Curvas m (α), para κ fixo. As linhas correspondem à magnetização

de um padrão marcado.
Resultados
Reconhecimento de um padrão ortogonal
Figura: Curvas m (α), para κ fixo. As linhas correspondem à magnetização

de um padrão não armazenado.
Resultados
Reconhecimento no modelo RNED
Figura: mED vs κ para γ = 1.0, mh (κ) e 4m (κ), para diversos valores de α.

Resultados
Figura: mED (κ) para γ = 0.9, mh (κ) e 4m vs κ, para diferentes α’s.

Resultados
Figura: mED (κ) para γ = 0.8, mh (κ) e 4m vs κ, para diferentes valores de α.

Resultados
Figura: mED (κ) vs κ para γ = 0.74, mh (κ) e 4m vs κ, para diferentes α’s.

Conteúdo
1 Introdução
2 Justificativa
3 Objetivos
Hipótese de Hebbs
5 Metodologia
6 Resultados
7 Conclusão
8 Propostas

Conclusão
O modelo RNED é mais geral que o modelo de Hopfield.
Das figuras 6,√7 e 8, se concluir que os valores de κC são

próximos de α, como previsto.
κC aumenta à medida que α cresce e diminui quando o

parâmetro γ aumenta.
Para γ < 0.74, não existe κC que permita a recuperação do

padrão marcado.
Para γ ≥ 0.74 obtém-se valores de κC que neutralizam o ruído do

sistema, permitindo a otimização na recuperação do padrão
marcado mesmo com α αC .
Nilo Barrantes Melgar (CBPF) Conclusão 27 de maio de 2019 39 / 44

Conteúdo
1 Introdução
2 Justificativa
3 Objetivos
Hipótese de Hebbs
5 Metodologia
6 Resultados
7 Conclusão
8 Propostas
Nilo Barrantes Melgar (CBPF) Conclusão 27 de maio de 2019 40 / 44

Propostas
Análise mediante simulação MonteCarlo do modelo RNED.
Testar os resultados obtidos da Teoria de campo médio.
Estudo numérico do modelo RNED para o caso de padrões

correlacionados.
Esta ideia da relação entre estímulo e campo externo pode-se

aplicar a um grande número de redes neuronais. Outro campo de
aplicação seria na bolsa de valores.
Nilo Barrantes Melgar (CBPF) Propostas 27 de maio de 2019 41 / 44

Agradecimentos
Agradeço aos professores Evaldo, Fernando e Doutorandos

Carlos, Leonardo e ao CNPQ que apoiaram o desenvolvimento
dessa pesquisa.
Nilo Barrantes Melgar (CBPF) Agradecimentos 27 de maio de 2019 42 / 44

Referências I
Amit, D. J., Gutfreund, H., and Sompolinsky, H. (1987). Statistical

mechanics of neural networks near saturation. Annals of physics,
173(1):30–67.
Nilo Barrantes Melgar (CBPF) Referências 27 de maio de 2019 43 / 44

Nilo Barrantes Melgar (CBPF) Referências 27 de maio de 2019 44 / 44

ApresentacaoNilo Final PDF

Caricato da

Informazioni sul documento

Titolo originale

Copyright

Formati disponibili

Condividi questo documento

Condividi o incorpora il documento

Opzioni di condivisione

Hai trovato utile questo documento?

Questo contenuto è inappropriato?

Copyright:

Formati disponibili

ApresentacaoNilo Final PDF

Caricato da

Copyright:

Formati disponibili

Modelo de Reconhecimento de Padrões

Nilo Barrantes Melgar

Nilo Barrantes Melgar (CBPF) MRED 27 de maio de 2019 1 / 44

Nilo Barrantes Melgar (CBPF) MRED 27 de maio de 2019 2 / 44

Nilo Barrantes Melgar (CBPF) MRED 27 de maio de 2019 3 / 44

Figura: Desenho cerebro.

capacidade de armazenamento ∼ 1015

neurônios no córtex cerebral ∼ 1010

Nilo Barrantes Melgar (CBPF) Introdução 27 de maio de 2019 5 / 44

As redes neuronais de memória associativa têm um número de

Segundo Sompolinsky, o número de pontos estáveis p cresce

O cérebro biológico não tem as limitações de uma rede neural de

É possível supor que o cérebro se comporta como um sistema

Nilo Barrantes Melgar (CBPF) Justificativa 27 de maio de 2019 6 / 44

Nilo Barrantes Melgar (CBPF) Justificativa 27 de maio de 2019 7 / 44

Propor uma perspectiva diferente do processo de reconhecimento

Apresentar um novo modelo de rede neuronal e estudar suas

Nilo Barrantes Melgar (CBPF) Objetivos 27 de maio de 2019 8 / 44

Nilo Barrantes Melgar (CBPF) Objetivos 27 de maio de 2019 9 / 44

Figura: Diagrama Esquemático de um neurônio

Figura: Diagrama Esquemático do neurônio Formal

Nilo Barrantes Melgar (CBPF) Fundamentação 27 de maio de 2019 12 / 44

A eficacia sináptica do neurônio j sobre o neurônio i, Jij , obedece

onde δ (x) de Kronecker é igual a 1 se x = 0, e zero em outros

onde o campo molecular que age sobre o neurônio i, é

Nilo Barrantes Melgar (CBPF) Fundamentação 27 de maio de 2019 14 / 44

Si (t + 1) = sign [hi (t)] . (6)

A proximidade entre os estados α e β é medida pela

Essa magnetização, pode ser calculada em alguns casos, usando

Nilo Barrantes Melgar (CBPF) Fundamentação 27 de maio de 2019 16 / 44

Nilo Barrantes Melgar (CBPF) Metodologia 27 de maio de 2019 17 / 44

Numa rede de Hopfield sobrecarregada (p  αN), generaliza-se

hi aponta ao padrão ’marcado’ η, beneficiando seu

P (ηi ) = γδ ηi − ξiθ + (1 − γ) δ ηi + ξiθ ,

onde γ indica uma perturbação do padrão η respeito de ξ θ .

Nilo Barrantes Melgar (CBPF) Metodologia 27 de maio de 2019 18 / 44

O campo molecular total, que age sobre o neurônio i, no modelo

Nilo Barrantes Melgar (CBPF) Metodologia 27 de maio de 2019 19 / 44

O campo molecular total, que age sobre o neurônio i, no modelo

Em consequência, o Hamiltoniano do sistema RNED, H, terá a

Nilo Barrantes Melgar (CBPF) Metodologia 27 de maio de 2019 19 / 44

O campo molecular total, que age sobre o neurônio i, no modelo

Em consequência, o Hamiltoniano do sistema RNED, H, terá a

O sistema evoluirá obedecendo a condição de alinhamento com

Nilo Barrantes Melgar (CBPF) Metodologia 27 de maio de 2019 19 / 44

No estado metaestável Si = ξiθ , ∨i, com Jij , fazemos a decomposição

Nilo Barrantes Melgar (CBPF) Metodologia 27 de maio de 2019 20 / 44

No estado metaestável Si = ξiθ , ∨i, com Jij , fazemos a decomposição

Nilo Barrantes Melgar (CBPF) Metodologia 27 de maio de 2019 20 / 44

No estado metaestável Si = ξiθ , ∨i, com Jij , fazemos a decomposição

Nilo Barrantes Melgar (CBPF) Metodologia 27 de maio de 2019 20 / 44

A grandeza de interesse a ser calculada no sistema RNED, é a

onde h. . .iξ indica a média sobre o desordem temperado ξiµ .

Devido a dificuldade de calcular hln Ziξ , usamos o método de

Nilo Barrantes Melgar (CBPF) Metodologia 27 de maio de 2019 21 / 44

Assim, a energia livre, toma a forma

Z n pode ser expressa como

sendo a uma etiqueta fictícia. O conjunto a = 1, . . . , n

Nilo Barrantes Melgar (CBPF) Metodologia 27 de maio de 2019 22 / 44

O operador Z0 , é dado por

maν = mν qab = q (a 6= b) rab = r (a 6= b) . (20)

Quando n → ∞ obtemos, para a energia livre:

A variação de f com respeito aos parâmetros de ordem proporciona

Numa rede de Hopfield sobrecarregada (p αN), generaliza-se