Exercicios Computao Evolutiva e Conexionista Aula 1) O neurnio artificial o modelo de neurnio mais simples que engloba as caractersticas de uma

a rede neural biolgica, isto , paralelismo e alta conectividade.

O neurnio artificial possui sete elementos bsicos: a) Sinais de entrada {x1, x2, ..., xn} So usualmente normalizados, visando incrementar a eficincia computacional dos algoritmos de aprendizagem; b) Pesos sinpticos {w1, w2, ..., wn} Valores que serviro para ponderar cada uma das variveis de entrada da rede, permitindo-se quantificar as suas relevncias em relao funcionalidade do respectivo neurnio; c) Combinador linear { S} Sua funo agregar todos os sinais de entrada que foram ponderados pelos respectivos pesos sinpticos a fim de produzir um valor de potencial de ativao; d) Limiar de ativao {q} Varivel que especifica qual ser o patamar apropriado para que o resultado produzido pelo combinador linear possa gerar um valor de disparo em direo sada do neurnio; e) Potencial de ativao {u} Resultado produzido pela diferena do valor produzido entre o combinador linear e o limiar de ativao. Se tal valor positivo, ou seja, se u q, ento o neurnio produz um potencial excitatrio; caso contrrio, o potencial ser inibitrio; f) Funo de ativao {g} Seu objetivo limitar a sada do neurnio dentro de um intervalo de valores razoveis a serem assumidos pela sua prpria imagem funcional; g) Sinal de sada {y} Valor final produzido pelo neurnio em relao a um determinado conjunto de sinais de entrada.

1) Explique o funcionamento do neurnio artificial. O funcionamento de um neurnio artificial segue os seguintes passos: _ Apresentao de um conjunto de valores que representam as variveis de entrada do neurnio; _ Multiplicao de cada entrada do neurnio pelo seu respectivo peso sinptico;

_ Obteno do potencial de ativao produzido pela soma ponderada dos sinais de entrada, subtraindo-se o limiar de ativao; _ Aplicao de uma funo de ativao apropriada, tendo-se como objetivo limitar a sada do neurnio; _ Compilao da sada a partir da aplicao da funo de ativao neural em relao ao seu potencial de ativao. 2) Faa uma analogia entre os elementos constituintes do neurnio artificial e do neurnio biolgico. Neuronio Biologico Dentritos Corpo celular Neuronios artificiais Variveis de entrada Pesos sinpticos Combinador linear Limiar de ativao Potencial de ativao Funo de ativao Sinal de entrada sada /

captar, de forma contnua, os estmulos vindos de diversos outros neurnios processa todas as informaes advindas dos dendritos, a fim de produzir um potencial de ativao que indicar se o neurnio poder disparar um impulso eltrico ao longo de seu axnio. conduzir os impulsos eltricos para outros neurnios conectores conexes que viabilizam a transferncia de impulsos eltricos (entre dentritos e axnio)

Axnio Sinapses

3) Em relao s caractersticas das RNAs, explique em que consiste a adaptao por experincia e a capacidade de generalizao. Adaptao por experincia : Os parmetros internos da rede (pesos sinpticos) so ajustados a partir da apresentao sucessiva de exemplos relacionados ao comportamento do processo, possibilitando a aquisio do conhecimento por experimentao. Capacidade de generalizao: Aps o processo de treinamento da rede, essa capaz de generalizar o conhecimento adquirido, possibilitando estimar solues que eram at ento desconhecidas. 4) Quais os principais tipos de problemas em que as RNAs so aplicadas? Aproximador universal de funes: mapeamento de processos cuja modelagem por tcnicas convencionais so de difcil obteno. Controle de processos: controles empregados em robtica, aeronaves, elevadores, eletrodomsticos, satlites, etc. Reconhecimento / classificao de padres: reconhecimento de imagens, voz, escrita, etc. Agrupamento de dados (clusterizao): problemas que envolvem classificao automtica de classes e garimpagem de dados. Sistemas de previso: previses climticas, previses de mercados financeiros, etc. Otimizao de sistemas: otimizao combinatorial. Memrias associativas: processamento de imagens, transmisso de sinais, identificao de caracteres manuscritos, etc.

Aula 2) 1) Quais as diferenas estruturais observadas nas redes com arquitetura recorrente em relao quelas com arquitetura feedforward? Redes recorrentes ou realimentadas tem as sadas dos neurnios so realimentadas como sinais de entrada para outros neurnios.

Tem-se apenas uma camada de entrada e uma nica camada de neurnios, que a prpria camada de sada.

As redes com arquitetura recorrente recorrentes produzem sadas atuais considerando tambm valores das sadas anteriores. 2) Em que tipos de aplicao essencial a utilizao de redes neurais recorrentes? Como so realimentadas so indicadas para processamento dinmico de informaes, como sistemas variantes em relao ao tempo, previso, otimizao e controle. 3) Quais so os fatores que influenciam na determinao do nmero de camadas escondidas de uma rede feedforward de camadas mltiplas? Os fatores que influenciam so o tipo e complexidade do problema e quantidade e qualidade dos dados 4) Quais as principais diferenas entre os mtodos baseados em treinamento supervisionado e no supervisionado? No treinamento supervisionado se sabe o valor que se quer chegar, tem um valor timo final e os pesos sinpticos e o limiar de ativao so ento continuamente ajustados, mediante comparaes executadas pelo algoritmo de aprendizagem utilizando o erro. No no supervisionado no se tem a ideia da sada desejada, e por consequncia a prpria rede deve se auto-organizar identificando clusters que contenham similaridades.

Os pesos sinpticos e o limiar de ativao so ajustados refletindo esta representao interna da rede.

5) Quais as principais diferenas entre os mtodos baseados em treinamento supervisionado e por reforo? Treinamento supervisionado: H uma sada esperada, e o treinamento feito ajustando os pesos sinpticos e o limiar de ativao ate chegar na sada esperada. Treinamento por reforo: No se tem uma sada desejada (professor) apenas dito se o resultado obtido foi bom (obtendo recompensa) ou ruim (dando punio), o treinamento feito por tentativa e erro.

Aula 3 PERCEPTRON

1) Explique por que o Perceptron somente consegue classificar padres cuja fronteira de separao entre as classes seja linear. Pois ele pode ter apenas 2 saidas possveis que so ir convergir se as classes forem linearmente separveis. 2) Seja um problema de classificao de padres que se desconhece a priori se as suas duas classes so ou no separveis linearmente. Elabore uma estratgia para verificar a possvel aplicao do Perceptron em tal problema. Pegar os dados do problema e plotar o grfico tentar ver se possvel passar uma linha separando as duas classes ou no. 3) Dois projetistas de instituies diferentes esto aplicando uma rede Perceptron para mapear o mesmo problema de classificao de padres. Discorra se correto afirmar que ambas as redes convergiro com o mesmo nmero de pocas. No, pois a quantidade de pocas para convergncia varia em funo de: _ Valores iniciais que foram atribudos ao vetor de pesos { w }; _ Disposio espacial das amostras de treinamento; _ Valor especificado para a taxa de aprendizagem { h }. 4) Considere um problema de classificao de padres composto de duas entradas {x1 e x2}, cujo conjunto de treinamento composto pelas seguintes amostras de treinamento:

Mostre se possvel aplicar o Perceptron na resoluo deste problema. No possvel aplicar o perceptron nesse problema pois as classes no so linearmente separveis. O grfico gerado tem a seguinte estrutura :
B A

Aula 4 Adaline 1) Explique as principais diferenas existentes entre o Perceptron e o Adaline. Adaline Processo de treinamento Regra DELTA (ajuste) Objetivo Minimizar a diferena entra a sada desejada (d) e a resposta do combinador linear (u), considerando todas as amostras de treinamento disponiveis convergencia Independente dos valores iniciais atribudos ao vetor de peso, a linha de separao aps a convergncia ser sempre o mesmo Perceptron Regra de Hebb Considera a resposta produzida aps a apresentacao individual de cada amostra

Pode haver vrios hiperplanos apropriados, pois ficam dentro de uma faixa de separabilidade

2) Considerando-se a aplicao de RNAs a um problema de classificao de padres que necessite de treinamento online, explique que tipo de rede (Perceptron ou Adaline) seria a mais apropriada para tal condio. A rede mais apropriada seria a Adaline pois ela tem maior tendncia a imunidade de rudos nos dados de entrada e como dados alimentados online podem sofrer alteraes (rudos) durante a transferncia dos dados. Essa imunidade a rudos devido ao hiperplano nico a que converge. 3) Discorra se a afirmao seguinte verdadeira ou falsa. Independentemente dos valores iniciais assumidos para o vetor de pesos do Adaline, uma mesma configurao final para w* ser sempre obtida aps a sua convergncia. Sim, pois a configurao de w* atualizado a partir da minimizao do erro quadrtico, sendo assim se obtem um w timo tal que o erro quadrtico seja o mnimo.

4) Explique, considerando a questo anterior, se o nmero de pocas de treinamento ser tambm igual, independentemente do vetor de pesos iniciais do Adaline. No, pois o algoritmo converge quando o erro quadrtico mdio entre duas pocas sucessivas for suficientemente pequeno, ou seja dependendo dos pesos inciais atribudos pode obter mais ou menos pocas para convergncia. Aula 5 Perceptron Multi Camadas (PMC) 1) Quais as semelhanas e diferenas entre as Redes Perceptron Multicamadas (PMC) e as Redes Perceptron e Adaline? Semelhanas: A mesma estrutura de funcionamento, possui entradas, pesos sinpticos, camada neurnios de sada. O processo de treinamento supervisionado Diferenas: Presena de camadas escondidas, h uma camada intermediaria entre a entrada e a sada. Camada neural de sada pode ser composta por vrios neurnios. 2) Quais so as duas fases do algoritmo de treinamento backpropagation? Explique cada uma delas. Forward: A primeira chamada de propagao adiante (forward), na qual os sinais {x1, x2,..., xn} de uma amostra do conjunto de treinamento so inseridos nas entradas da rede e so propagados camada a camada at a produo das respectivas sadas. Essa fase busca apenas obter respostas da rede levando em conta apenas os valores atuais de pesos sinpticos e limiares, onde no se alteram durante cada execuo dessa fase. Backward: ou propagao reversa, as alteraes (ajustes) dos pesos sinpticos e limiares de todos os neurnios so feitos nessa fase. 3) Como so ajustados os pesos sinpticos da camada neural de sada e das camadas intermedirias (sem as equaes)? Primeiramente so ajustados os pesos sinpticos da camada de sada a partir da estimativa dos erros de sada produzido, de forma semelhante ao perceptron de camada nica. Aps isso iniciado as correes dos pesos para as camadas intermediarias posteriores que dependem dos valores da camada anterior. Assim os ajustes so feitos baseando-se nos valores ponderados dos pesos sinpticos que foram ajustados anteriormente (retropropagao_) Aula 6 Perceptron Multipla Camada 2 (PCM) 1) Explique o que so situaes de underfitting e overfitting. O aumento indiscriminado de neurnios e camadas intermediarias no asseguram generalizao entre as amostras e os subconjuntos do teste. O overfitting quando se tende a levar a sada do PMC para memorizaes excessiva, onde se acaba decorando a resposta, na fase de aprendizado o erro tende a ser baixo, mas durante o teste o erro tende a valores elevados. O underfitting a falta de neurnios para extrao e armazenamento das caractersticas do processo.(debilidade neural)

2) Discorra sobre a necessidade do pr-processamento das amostras de treinamento e teste, explicitando-se ainda a sua influncia na velocidade de treinamento da rede PMC. O pre-processamento necessrio para melhorar o desempenho de treinamento, assim os valores de entrada e sada so escalonados para um intervalo fechado entre -1 e 1. Pois faz com que a velocidade de treinamento aumente.

3) O que pode ser feito para evitar a convergncia da rede para pontos de mnimos locais inapropriados? Para evitar a convergncia da rede para mnimos locais inapropriados, pode-se executar o treinamento de cada topologia candidata mais de uma vez, com diferentes matrizes de pesos iniciais (geradas aleatoriamente). 4) O que pode ser feito para cessar o treinamento quando a preciso especificada se torna inalcanvel? Impor uma quantidade mxima de pocas como critrio adicional de parada do algoritmo de treinamento do PMC. AULA 7 Rede de Funo Base Radial (RBF) 1) Explique as principais diferenas existentes entre as redes PMC e RBF. As redes RBF possui apenas uma camada intermediaria, e a funo de ativao gaussiana. Outra diferena o treinamento de duas fases, 2) O que acontece em cada estgio de treinamento das redes RBF? Qual o tipo de aprendizado empregado em cada estgio? a primeira os ajustes da camada intermediaria feito atravs de um mtodo no supervisionado depende apenas dos dados de entrada, na segunda fase os pesos da camada de sada so ajustados utilizando o aprendizado supervisionado (similar ao pmc na ultima camada - regra delta generalizada) 3) Qual o mtodo de agrupamento usado na primeira fase de treinamento de uma rede RBF? Como ele funciona? Na primeira fase utilizado o mtodo k-means (k-medias) que tem proposito de posicionar os centros de k-gaussianas em regies onde os padres de entrada tendero a se agrupar. Vai selecionando cada amostra e as mais prximas das referencias ate obter a media correta. 4) Quais so as diferenas entre as fronteiras de separabilidade das redes PMC e RBF para problemas de classificao de padres? As fronteiras das redes PMC sao formados por conexes de lineares formando formas geomtricas em cada um dos problemas aplicados, j RBF utiliza funes gaussianas que torna a fronteira da classe como sendo circulo. Com apenas 2 neuronios na camada RBF foi possvel separar 2 classes distintas j no PCM seria necessrio 8 neuronios.

Aula 8 Hopfield 1) Quais so as diferenas entre as arquiteturas feedforward e recorrente? Redes recorrentes ou realimentadas tem as sadas dos neurnios so realimentadas como sinais de entrada para outros neurnios. Comportamento dinmico. Feedforward: Tem-se apenas uma camada de entrada e uma nica camada de neurnios, que a prpria camada de sada. 2) As redes recorrentes de Hopfield possuem quantas camadas? Como os neurnios so conectados? Possui uma nica camada, onde todos os neurnios so completamente interligados (entre eles mesmo e os neurnios tambm) 3) Qual a funo que caracteriza as redes neurais recorrentes? Explique esta funo com relao aos seus pontos. Funcoes de ativao montonas crescentes (ex: tangente hiperblica). So estveis e pode possuir mltiplos pontos de equilbrios. 4) As aplicaes de redes de Hopfield esto concentradas em que rea do conhecimento? Areas de otimizacao de sistemas > Prog dinmica, linear, otimizacao no linear restrita, otimizacao combinatorial. 5) Quais so as condies para que a rede de Hopfield seja estvel? Matriz de pesos {w} deve ser simtrica Funcao de ativao {g()} deve ser montona crescente. Considerando isso qq conj iniciais a rede ira convergira para um ponto de equilbrio estvel. AULA 9 Kohonen 1) Quais os tipos de arquitetura e de aprendizado usados pelos mapas autoorganizveis de Kohonen? Arquitetura feedforward e Aprendizado no supervisionado 2) O que os mapas topolgicos informam? Informam como estaro organizados espacialmente os neurnios da rede frente ao comportamento de seus vizinhos. Informam as conexes laterais do neurnio, ou seja conexo com a vizinhana. 3) Em que consiste um processo de aprendizado competitivo? H concorrncia entre os neurnios, o vencedor ajusta seus pesos e aperfeioa o seu estado para o prox competio (padro apresentado) 4) Quais so os trs aspectos que devem ser considerados na configurao de uma SOM? Definio da organizao espacial (grid) dos neurnios;

_ Delimitao dos conjuntos de vizinhana de cada neurnio; _ Especificao do critrio de ajuste do vetor de pesos do neurnio vencedor e de seus vizinhos. 5) Quais so os passos envolvidos no processo de treinamento da rede de Kohonen? I. Cada neurnio da rede computa o nvel de proximidade de seu vetor de pesos em relao a cada padro de entrada; II. Um mecanismo de competio entre os neurnios aplicada com o objetivo de escolher o vencedor; III. A partir da definio do neurnio vencedor, resgata-se, por meio do mapa topolgico, o conjunto de vizinhana que informa sobre quais so os neurnios vizinhos ao vencedor; IV. Os pesos do neurnio vencedor e de seus vizinhos so incrementados com o objetivo de aumentar o nvel de proximidade com a respectiva entrada; V. Aps a convergncia, possvel identificar regies do mapa de contexto que correspondem s classes do problema. AULA 10 ART - 1 1) Quais so os tipos de redes ART? ART-1 Padres com entradas binrias e treinamento no supervisionado ART-2 Padres com entradas binrias ou analgicas (contnuas) e treinamento no supervisionado ART-3 Padres com entradas binrias ou analgicas e treinamento no supervisionado, usando-se mais de uma camada intermediria ART-Map Padres com entradas binrias ou analgicas e treinamento supervisionado, utilizando duas redes ART Fuzzy-ART Verso fuzzy da rede ART-Map, com treinamento supervisionado. 2) Qual o tipo de aprendizado da rede ART-1? Aprendizado no supervisionado. 3) Quais so os parmetros livres da rede ART-1? Matrizes de pesos da camada de sada Wf e Wb 4) Quais so as etapas de aprendizado da rede ART-1? Inicializar os parmetros (matrizes de pesos e padro de vigilncia) Reconhecimento o neurnio de sada que tiver maior similaridade sera o vencedor da competio - parece com o mtodo competitivo de Kohonem, Comparacao Verifica se a classe vencedora mesmo a mais apropriada Busca se houver rejeio do neurnio pseudo vencedor encontrar outra. Atualizacao aps a concluso bem sucedida atualiza os pesos das matrizes

5) Como o parmetro de vigilncia r afeta o desempenho da rede ART-1?

De acordo com o parmetro de vigilncia se determina a quantidade de classes que ter. Quanto mais prximo de 1 o parmetro de vigilncia maior numero de classes ser possvel.