Redes Neurais Artificiais

Airton Bordin Junior

[airtonbjunior@gmail.com]

Mestrado em Cincia da Computao Inteligncia Computacional

Prof Dr Celso Gonalves Camilo Junior
Universidade Federal de Gois (UFG) - Instituto de Informtica - Maio/2017
Programao

Introduo

Inteligncia Computacional - Airton Bordin Junior

Heursticas e Metaheursticas
Algoritmos evolucionrios
Redes Neurais Artificiais
Referncias

2
Introduo
Podemos classificar os problemas computacionais em
Tratveis, tambm chamados de polinomiais
Podem ser resolvidos por algoritmos determinsticos.

Inteligncia Computacional - Airton Bordin Junior

Intratveis, ou no polinomiais
Sem algoritmo determinstico para resolver o problema em
tempo hbil.
Polinomiais
Tratveis
Algoritmos determinsticos

No polinomiais
Intratveis Algoritmos no determinsticos
Soluo determinstica invivel 3
 Introduo

Inteligncia Computacional - Airton Bordin Junior

4
Heurstica
Impraticabilidadede encontrar/calcular a melhor
resposta para problemas no polinomiais;

Inteligncia Computacional - Airton Bordin Junior

Desafio:produzir, em tempo reduzido, solues
to prximas quanto possveis da soluo tima.

5
 Metaheurstica
Propriedades e Estratgias que guiam o processo de busca;
caractersticas
das Explorao eficiente do espao de busca - solues timas ou

Inteligncia Computacional - Airton Bordin Junior

quase timas;
metaheursticas De simples procedimentos de busca local a complexos processos
[SALIBA, 2010]
de aprendizado;
Aproximados e usualmente no determinsticos;

Podem incorporar mecanismos para evitar ficar presos em reas

confinadas do espao de busca;
No so especficas para um determinado problema;

Podem usar um conhecimento especfico do problema na forma de

heursticas que so controladas por uma estratgia de nvel superior.
6
Algoritmos bio-inspirados
Algoritmos Genticos
Algoritmos Programao Gentica
Evoluo Gramatical
evolucionrios Estratgias Evolucionrias
Programao Evolucionria

Inteligncia Computacional - Airton Bordin Junior

[PAPPA, 2013]
Inteligncia Colnia de Formigas
Algoritmos coletiva Enxame de Partculas
bio-inspirados
MLP Multi-layer Perceptrons
RBF- Radio Basis Function Net
Redes Neurais SOM- Self-Organizing Maps
ARTMap

Sistemas Seleo Negativa

Expanso Clonal
Imunolgicos Redes

7
Algoritmos bio-inspirados
Algoritmos Genticos
Algoritmos Programao Gentica
Evoluo Gramatical
evolucionrios Estratgias Evolucionrias
Programao Evolucionria

Inteligncia Computacional - Airton Bordin Junior

[PAPPA, 2013]
Inteligncia Colnia de Formigas
Algoritmos coletiva Enxame de Partculas
bio-inspirados
MLP Multi-layer Perceptrons
RBF- Radio Basis Function Net
Redes Neurais SOM- Self-Organizing Maps
ARTMap

Sistemas Seleo Negativa

Expanso Clonal
Imunolgicos Redes

8
Algoritmos evolucionrios
Inspirados na teoria de evoluo de Darwin;

Evoluo:
mudana das caractersticas (genticas) de

Inteligncia Computacional - Airton Bordin Junior

uma populao de uma gerao para a prxima
Mutao dos genes;
Recombinao dos genes dos pais.

Algoritmos
evolucionrios

Inteligncia
coletiva
Algoritmos bio-
inspirados
Redes Neurais

Sistemas
Imunolgicos 9
Algoritmos evolucionrios
Evoluo caracterizada basicamente por um
processo constitudo de 3 passos
[VON ZUBEN, 2005]

Inteligncia Computacional - Airton Bordin Junior

1. Reproduo com herana gentica;
2. Introduo de variao aleatria em uma
populao de indivduos;
3. Aplicao da seleo natural para a Algoritmos

produo da prxima gerao. evolucionrios

Inteligncia
coletiva
Algoritmos bio-
inspirados
Redes Neurais

Sistemas
Imunolgicos 10
Algoritmos bio-inspirados
Algoritmos Genticos
Algoritmos Programao Gentica
Evoluo Gramatical
evolucionrios Estratgias Evolucionrias
Programao Evolucionria

Inteligncia Computacional - Airton Bordin Junior

[PAPPA, 2013]
Inteligncia Colnia de Formigas
Algoritmos coletiva Enxame de Partculas
bio-inspirados
MLP Multi-layer Perceptrons
RBF- Radio Basis Function Net
Redes Neurais SOM- Self-Organizing Maps
ARTMap

Sistemas Seleo Negativa

Expanso Clonal
Imunolgicos Redes

11
Algoritmos bio-inspirados
Algoritmos Genticos
Algoritmos Programao Gentica
Evoluo Gramatical
evolucionrios Estratgias Evolucionrias
Programao Evolucionria

Inteligncia Computacional - Airton Bordin Junior

[PAPPA, 2013]
Inteligncia Colnia de Formigas
Algoritmos coletiva Enxame de Partculas
bio-inspirados
MLP Multi-layer Perceptrons
RBF- Radio Basis Function Net
Redes Neurais SOM- Self-Organizing Maps
ARTMap

Sistemas Seleo Negativa

Expanso Clonal
Imunolgicos Redes

12
 Redes Neurais Artificiais

Inteligncia Computacional - Airton Bordin Junior

13
Redes Neurais
Sistemanervoso formado por um conjunto
extremamente complexo de clulas: os

Inteligncia Computacional - Airton Bordin Junior

neurnios.
Essencial na determinao do funcionamento e
comportamento do corpo humano e do raciocnio.

14
Redes Neurais
Principais partes de um neurnio
Dentritos, que recebem os estmulos;

Inteligncia Computacional - Airton Bordin Junior

Corpo (soma), responsvel por coletar e combinar
informaes;
Axnio, que transmite os estmulos para outras clulas.

15
 Neurnio

Inteligncia Computacional - Airton Bordin Junior

16
Redes Neurais Artificiais
Modelos matemticos que se assemelham s
estruturas neurais biolgicas e que tm

Inteligncia Computacional - Airton Bordin Junior

capacidade computacional adquirida por meio de
aprendizagem e generalizao;
Inspirado na estrutura neural de organismos
inteligentes e que adquirem conhecimento
atravs da experincia.

17
Redes Neurais Artificiais
Estruturade processamento, composta por um
nmero de unidades interconectadas, onde cada

Inteligncia Computacional - Airton Bordin Junior

unidade apresenta um comportamento especfico
de entrada/sada, determinado pela sua funo
de transferncia, pelas interconexes com outras
unidades, dentro de um raio de vizinhana, e
possivelmente pelas entradas externas.[VON ZUBBEN, 2003]

18
Redes Neurais Artificiais
Circuito
composto por uma grande quantidade de
unidades simples de processamento inspiradas no

Inteligncia Computacional - Airton Bordin Junior

sistema neural; [NIGRIN, 1993]

Sistema massivamente paralelo e distribudo,

composto por unidades de processamento
simples que possuem uma capacidade natural de
armazenar e utilizar conhecimento [HAYKIN, 1999]

19
Redes Neurais Artificiais
Propriedades particulares de uma RNA:
Aprender;

Inteligncia Computacional - Airton Bordin Junior

Adaptar;
Generalizar;
Eventualmente organizar.

20
Histrico resumido
1943:McCulloch e Pitts - construo de uma
mquina baseada ou inspirada no crebro humano;

Inteligncia Computacional - Airton Bordin Junior

1949: Donald Hebb The Organization of Behavior
- traduziu matematicamente a sinapse dos neurnios
biolgicos;
1951: Mavin Minsky - primeiro neurocomputador:
Snark (no executou nenhuma funo til);
1956:Darthmouth College 2 paradigmas de IA:
Simblica e Conexionista;
21
Histrico resumido
1957: Rosenblatt - primeiro neurocomputador a
obter sucesso: Mark I Perceptron (reconhecimento
de padres);

Inteligncia Computacional - Airton Bordin Junior

1983: Ira Skurnick centro de pesquisas em
neurocomputao DARPA (Defense Advanced
Research Projects Agency);
1986: David Rumelhart e James McClelland
Parallel Distributed Processing

22
Redes Neurais Artificiais
Operao de uma unidade de processamento
Sinais so apresentados entrada;

Inteligncia Computacional - Airton Bordin Junior

Cada sinal multiplicado por um peso (influncia na
sada da unidade);
Somatrio ponderado dos sinais produz um nvel de
atividade;
Se este nvel de atividade exceder um certo limite
(threshold) a unidade produz uma determinada
resposta de sada.
[MCCULLOCK, PITTS, 1943]

23
Redes Neurais Artificiais
Funo matemtica F(x)
Relaciona um vetor de entrada com um vetor de sada;
Assume-se que F(x) totalmente desconhecida

Inteligncia Computacional - Airton Bordin Junior

Pode ser to simples como um mapeamento linear do tipo
d = M.x

Entrada(x) F(x) desconhecida Sada (d)

24
Redes Neurais Artificiais
Funo matemtica F(x)
A funo pode ser extremamente complexa;
Relaes no lineares, etc.

Inteligncia Computacional - Airton Bordin Junior

Objetivo: imitar o functionamento de F(x).

Entrada(x) F(x) desconhecida Sada (d)

25
Redes Neurais Artificiais
Fontes de informao sobre o problema
Conjunto finito de pares de entrada {xi, di}
Exemplo:

Inteligncia Computacional - Airton Bordin Junior

127 4.5

2 137.2

14.9 22.8

... 26
Redes Neurais Artificiais
Fontes de informao sobre o problema
Aps a apresentao das entradas conhecidas x e sadas d, a ideia que a
rede seja capaz de retornar uma sada d para uma entrada x desconhecida;

Inteligncia Computacional - Airton Bordin Junior

Sada muito prxima da real;
O processo de obteno de d a partir das entradas conhecidas
chamado de Processo Indutivo.

x d

27
 Neurnio artificial

Inteligncia Computacional - Airton Bordin Junior

28
Arquiteturas de redes
Feedforward com camada nica

Inteligncia Computacional - Airton Bordin Junior

29
Arquiteturas de redes
Feedforward com mltiplas camadas

Inteligncia Computacional - Airton Bordin Junior

30
 Redes recorrentes
Arquiteturas de redes

Inteligncia Computacional - Airton Bordin Junior

31
Redes Neurais Artificiais
Oprocesso de conexo de neurnios artificiais leva
gerao de sinapses e Redes Neurais Artificiais

Inteligncia Computacional - Airton Bordin Junior

32
Redes Neurais Artificiais
As estruturas mais conhecidas so as em camadas
Multilayer Perceptron (MLP)

Inteligncia Computacional - Airton Bordin Junior

33
Multilayer Perceptron (MLP)
RNAs de mltiplas camadas resolvem problemas no
linearmente separveis;

Inteligncia Computacional - Airton Bordin Junior

Distinguem-se
das redes de camada simples pelo
nmero de camadas intermedirias
Possui uma ou mais camadas ocultas, compostas por
neurnios artificiais (neurnios ocultos);
Adio de camadas ocultas torna a rede capaz de
extrair estatsticas de ordem elevada.

34
Multilayer Perceptron (MLP)
O nmero de ns de entrada determinado pela
dimenso do espao de observao;

Inteligncia Computacional - Airton Bordin Junior

O nmero de neurnios da camada de sada
determinado pela dimenso da resposta;
Assim, o projeto requer a considerao de:
1. Nmero de camadas ocultas;
2. Nmero de neurnios em cada camada oculta;
3. Especificao dos pesos sinpticos.

35
Processos de aprendizado
Seo conhecimento est armazenado nos pesos das
conexes, ento o processo de aprendizagem
corresponde a identificar um conjunto apropriado de

Inteligncia Computacional - Airton Bordin Junior

pesos de forma que a rede se comporte como
desejado;
Possibilidade
de desenvolvimento de tcnicas de
aprendizagem, e a representao distribuda de
conhecimento.

36
Processos de aprendizado

Inteligncia Computacional - Airton Bordin Junior

Novo
Estmulo Adaptao comportamento

37
Processos de aprendizado
O algoritmo de treinamento mais utilizado em MLP
o Backprogation
Baseia-se na aprendizagem por correo de erros.

Inteligncia Computacional - Airton Bordin Junior

Quando o valor de sada gerado, calculado o erro
e seus valores so retro-propagados para entrada
Os pesos so ajustados e os valores so novamente
calculados.

38
 Processos de aprendizado

Inteligncia Computacional - Airton Bordin Junior

39
Processos de aprendizado
Funcionamento geral
1. Apresenta-se um padro camada de entrada

Inteligncia Computacional - Airton Bordin Junior

a. Padro processado camada por camada at que
a camada de sada fornea a resposta processada.
2. Resposta comparada com a resposta desejada e se
estiver errada, o erro calculado;
3. Valores so retropropagados da camada de sada
para a camada de entrada
a. Pesos so ajustados.

40
Processos de aprendizado
O aprendizado feito por meio de um processo
iterativo de ajuste dos pesos sinpticos

Inteligncia Computacional - Airton Bordin Junior

1. RNA estimulada pelo ambiente de informao;
2. Estrutura interna da rede alterada como resultado do
estmulo;
3. Por conta das alteraes na estrutura interna, a rede tem sua
resposta aos estmulos do ambiente modificada.

41
Processos de aprendizado
A RNA se baseia nos dados para extrair um modelo
geral
Fase de aprendizado deve ser rigorosa e verdadeira, a

Inteligncia Computacional - Airton Bordin Junior

fim de se evitar modelos irreais.
Todo o conhecimento de uma rede neural est
armazenado nas sinapses, ou seja, nos pesos
atribudos s conexes entre os neurnios;

42
Sentido direto
Clculo
ativaes e sadas de todos os neurnios da
camada oculta e de sada;

Inteligncia Computacional - Airton Bordin Junior

Entrada Intermediria Sada

43
Sentido direto
Clculo
ativaes e sadas de todos os neurnios da
camada oculta e de sada.

Inteligncia Computacional - Airton Bordin Junior

Intermediria
Sentido direto
Clculo
ativaes e sadas de todos os neurnios da
camada oculta e de sada;

Inteligncia Computacional - Airton Bordin Junior

Intermediria

Funo Logstica

Tangente Hiperblica
45
Sentido direto
Deve repetir para a camada de sada, considerando a
sada da camada intermediria como entrada

Inteligncia Computacional - Airton Bordin Junior

Sada

Funo Logstica

Tangente Hiperblica
46
Funes de ativao
Funo Identidade Funo Degrau Funo Logstica

Inteligncia Computacional - Airton Bordin Junior

47
Funes de ativao
Funo Senoide Funo Gaussiana Funo Sinc

Inteligncia Computacional - Airton Bordin Junior

48
Sentido inverso
Clculo
dos gradientes locais e o ajuste dos pesos de
todos os neurnios da camada intermediria e sada.

Inteligncia Computacional - Airton Bordin Junior

Intermediria Sada

49
Sentido inverso
Clculo
dos gradientes locais e o ajuste dos pesos de
todos os neurnios da camada intermediria e sada
Gradientes locais camada sada

Inteligncia Computacional - Airton Bordin Junior

50
Sentido inverso
Clculo
dos gradientes locais e o ajuste dos pesos de
todos os neurnios da camada intermediria e sada
Gradientes locais camada sada

Inteligncia Computacional - Airton Bordin Junior

51
Sentido inverso
Clculo
dos gradientes locais e o ajuste dos pesos de
todos os neurnios da camada intermediria e sada
Gradientes locais camada sada

Inteligncia Computacional - Airton Bordin Junior

Logstica 52
Sentido inverso
Clculo
dos gradientes locais e o ajuste dos pesos de
todos os neurnios da camada intermediria e sada
Gradientes locais camada sada

Inteligncia Computacional - Airton Bordin Junior

Logstica Tangente Hiperblica 53
Sentido inverso
Clculo
dos gradientes locais e o ajuste dos pesos de
todos os neurnios da camada intermediria e sada
Gradientes locais camada intermediria

Inteligncia Computacional - Airton Bordin Junior

54
Sentido inverso
Clculo
dos gradientes locais e o ajuste dos pesos de
todos os neurnios da camada intermediria e sada
Gradientes locais camada intermediria

Inteligncia Computacional - Airton Bordin Junior

Logstica 55
Sentido inverso
Clculo
dos gradientes locais e o ajuste dos pesos de
todos os neurnios da camada intermediria e sada
Gradientes locais camada intermediria

Inteligncia Computacional - Airton Bordin Junior

Logstica Tangente Hiperblica 56
Sentido inverso
Atualizao/ajuste dos parmetros da rede
Pesos sinpticos e limiares

Inteligncia Computacional - Airton Bordin Junior

Camada Intermediria

Camada Sada

57
Treinamento
Pontos importantes
Vetor de entrada;
Vetor de sada;

Inteligncia Computacional - Airton Bordin Junior

Nmero neurnios camada oculta;
Funes de ativao;
Critrio de parada e convergncia
Geralmente erro mdio quadrtico por poca.
Avaliao da rede.

58
Multilayer Perceptron (MLP)
Hecht-nielsen
afirma que apenas com uma camada
oculta j possvel calcular a funo arbitrria
qualquer (camada oculta deve ter 2i+1 neurnios);

Inteligncia Computacional - Airton Bordin Junior

Cybenko defende o uso de 2 camadas internas;

Kudricky
observa que, para cada 3 neurnios da 1
camada oculta era preciso 1 da segunda camada;
Lippmann afirma que a 2 camada oculta deve ter o
dobro de neurnios da camada de sada
59
Processos de aprendizado
De50 a 90% do total de dados devem ser usados
para o treinamento da RNA
Escolhidos aleatoriamente, a fim de que a rede

Inteligncia Computacional - Airton Bordin Junior

"aprenda" as regras e no decore exemplos.
O restante dos dados apresentado RNA na fase
de testes a fim de que ela possa deduzir
corretamente o interrelacionamento entre os dados.

60
Referncias
ZUBEN, F. V. Rede MLP: Perceptron de Mltiplas TATIBANA, C. Y., KAETSU, D. Y. Redes Neurais
Camadas
ZADROZNY, B. Mtodos Estatsticos de
CRUZ, A. Redes Neurais Artificiais: Multi Layer Aprendizagem
Perceptron
BACKES, A. Redes Neurais

Inteligncia Computacional - Airton Bordin Junior

ALMEIDA, R. R. IA Conexionista: Redes Neurais
Artificiais BARRETO, G. A. Perceptron Multicamadas e o
Algoritmo de Retropropagao do Erro
AFFONSO, E. T. F., SILVA, A. M., SILVA, M. P.,
RODRIGUES, T. M. D., MOITA, G. F. Uso Redes
Neurais Multilayer Perceptron (Mlp) Em Sistema
De Bloqueio De Websites Baseado Em Contedo

CASTRO, F. C., CASTRO, M. C. Multilayer

Perceptrons

CASTROUNIS, A. Artificial Intelligence, Deep

Learning, and Neural Networks Explained

ANDR, A. P. L. F. Redes Neurais Artificiais

61