Mtodo de Nelder-Mead Aspectos Tericos

Camile Fraga Delfino Kunz

Introduo
Desde a sua publicao em 1965 o mtodo de Nelder-Mead tem sido um dos mais utilizados em otimizao no-linear irrestrita Durante 30 aps a publicao no houveram estudos tericos sobre convergncia Aps anlises descobriu-se que o algoritmo bastante ineficiente para funes de 2 ou mais dimenses

Por que o mtodo to utilizado?

O algoritmo muito utilizado em processos industriais em que requerem apenas uma melhora na funo objetivo. Em poucas iteraes o mtodo consegue uma melhora na funo objetivo

Por que o mtodo to utilizado?

H algumas aplicaes em que a avaliao da funo objetivo muito caro ou consome muito tempo. O mtodo apresenta poucas avaliaes da funo objetivo em cada iterao O mtodo muito simples de ser programado, o que o torna muito atraente

Regras de Desempate
Em sua forma original o algoritmo no trata explicitamente o que fazer quando h vrtices com valores iguais da funo objetivo Para estudar isso, definimos o ndice de variao:

Regras de Desempate
As regras de desempate so necessrias para evitar modificaes desnecessrias no ndice de variao Se um ponto obtido por reflexo, expanso ou contrao, o novo vrtice inserido aps o ndice de variao Caso seja uma iterao shrink, temos: y0k+1 = y0k

Regras de Desempate
Assim, o ndice de variao toma os seguintes valores: 1 k* n-1 , se a iterao termina em reflexo; k* = 0, se a iterao termina em expanso; 0 k* n , se a iterao termina em contrao; k* = 0 ou 1, se a iterao termina em shrink;

Regras de Desempate
Se uma iterao no shrink, ento:

Logo,

Propriedades Geomtricas
A forma geomtrica do simplex est muito relacionada convergncia ou no Na prtica, o bom desempenho ocorre quando o simplex se ajusta bem curvatura da funo Simplexes que se tornam muito achatados ou em formato de agulha no possuem convergncia global para ponto estacionrio

Propriedades Geomtricas
Uma forma de monitorar a geometria de Y = {y0, y1, ... , yn} verificar se est bem equilibrado atravs do parmetro > 0: onde

Propriedades Geomtricas
O dimetro do simplex definido por:

Como (Y) diam(Y) 2(Y), pode-se utilizar tanto (Y) quanto diam(Y) para a anlise de convergncia. Ns escolhemos utilizar diam(Y) nesta anlise.

Propriedades Geomtricas
Ao invs de trabalharmos com o parmetro , vamos trabalhar com o volume normalizado:

O fator n! no denominador pode ser ignorado para fins de normalizao.

Propriedades Geomtricas
O volume do simplex dado por:

onde

O simplex no degenerado se vol(Y) > 0.

Teorema 1
Se a iterao k termina em uma etapa no-shrink (reflexo, expanso ou contrao):

Se a iterao k termina em uma etapa shrink:

Teorema 2
Seja f:RnR e limitada inferiormente. Ento: 1. A sequncia {f0k} convergente. 2. Se um nmero finito de shrinks ocorrem, ento todas as sequncias {fik} convergem e seus limites satisfazem f0* ... fn*. 3. Se somente um nmero finito de shrinks ocorrem, ento todos vrtices do simplex convergem para um nico ponto.

Teorema 3

Nenhuma etapa shrink realizada quando o mtodo de Nelder-Mead aplicado a uma funo estritamente convexa f.

Teorema 4
Assuma que f limitada inferiormente em Rn, o algoritmo de Nelder-Mead aplicado em um simplex inicial no-degenerado, e que no so realizadas etapas shrink. Se o ndice de variao 0 infinitas vezes, isto , o melhor ponto muda infinitamente vrias vezes, ento f0* = ... = fn*.

Propriedades para f:RR

Em uma dimenso, o segundo-pior e o melhor vrtice so os mesmos pontos, isso significa que o centride igual a y0k em cada iterao. O simplex ser dado por um segmento de reta, ento, em cada iterao k do tipo :

Teorema 5
Seja f uma funo estritamente convexa e limitada. Assuma que o algoritmo de NelderMead aplicado a f com parmetros satisfazendo r>0, e>1, e> r, er1 e 0< c<1, iniciando com um simplex nodegenerado Y0. Ento, os dois pontos finais do intervalo convergem para ymin.

Propriedades para

2 f:R R

Para analisar o funcionamento do algoritmo de Nelder-Mead em funes de 2 variveis, vamos considerar os parmetros r=1, e=2 e c=1/2 e que f estritamente convexa e limitada.

Teorema 6
Seja f uma funo estritamente convexa de R2 em R e limitada. Assuma que as operaes de reflexo e contrao com parmetros so r=1 e c=1/2 so aplicadas no simplex inicial Y0 no-degenerado. Se o melhor vrtice y0k constante para todo k, ento os simplexes Yk convergem para o ponto y0k a medida que k tende ao infinito.

Teorema 7
Seja f uma funo estritamente convexa de R2 e limitada. Assuma que as operaes de reflexo, expanso e contrao com parmetros so r=1 , e=2 e c=1/2 so aplicadas no simplex inicial Y0 nodegenerado. Ento os simplexes {Yk} gerados pelo algoritmo satisfazem:

Teorema 8
Seja f uma funo estritamente convexa de R2 e limitada. Assuma que as operaes de reflexo, expanso e contrao com parmetros so r=1 , e=2 e c=1/2 so aplicadas no simplex inicial Y0 nodegenerado. Ento os simplexes {Yk} gerados pelo algoritmo satisfazem:

Concluses
O mtodo converge para funes f:RR que so limitadas e estritamente convexas com restries nos parmetros. Para funes f:R2R o volume e o dimetro do simplex podem ir a zero, mas isso no implica em convergncia. O algoritmo falha quando so realizadas sucessivas shrinks em pontos no minimizadores.

Concluses
Por exemplo, McKinnon criou uma famlia de funes de 2 variveis em que o mtodo converge para um ponto no estacionrio. Um problema em aberto encontrar uma funo de 2 variveis em que o mtodo de Nelder-Mead com certeza converge. Uma boa candidata seria f(x,y) = x2 + y2, mas o problema ainda se mantm aberto.