Aula3 2

Aproximaes Quadrticas
Introduo Mtodo de Newton Mtodo de Newton Modicado Determinao Numrica da Hessiana Construo da Hessiana Correo de Posto 1 Mtodos quasi-Newton
Unidade 3: Mtodos Numricos para Otimizao Irrestrita

Jaime A. Ramrez
Belo Horizonte, Agosto de 2010
Sumrio
1 Aproximaes Quadrticas
Introduo
Introduo
Seja uma funo f (x) que possa ser aproximada por
uma funo quadrtica: f (x) c0 + c1 (x x0 ) + (x x0 )T C2 (x x0 )
(1)
sendo c0 Rn , c1 Rn e C2 Rnn . Escrevendo f (x) em termos de uma srie de Taylor: 1 f (x) = f (x0 )+ f (x0 )T (x x0 )+ (x x0 )T H(x0 )(x x0 ) 2 (2) onde o vetor f (x0 ) o gradiente da funo no ponto x0 , a matriz H(x0 ) a Hessiana da funo em x0 .
Introduo
Introduo
O gradiente da funo f (x) dada por (2) : f (x) = f (x0 ) + H(x0 )(x x0 ) (3)
Sabe-se, entretanto, a partir das condies de primeira ordem, que no ponto de mnimo local x , o gradiente se anula, de maneira que: f (x ) = f (x0 ) + H(x0 )(x x0 ) (4)
de onde se obtm a frmula de determinao do ponto de mnimo: x = x0 (H(x0 ))1 f (x0 ) (5)
Introduo
Introduo
Ou seja, se a funo a ser otimizada for exatamente
quadrtica, basta se conhecer o gradiente e a Hessiana em um ponto qualquer x0 para se determinar, em uma nica iterao, o ponto de mnimo x , atravs da equao (5).
Se a funo for aproximadamente quadrtica num certo
domnio, a equao (5) pode ainda ser empregada para produzir estimativas do ponto de mnimo que convergem muito mais rapidamente que aquelas produzidas pelo Algoritmo do Mtodo do Gradiente.
Mtodo de Newton
Mtodo de Newton
Pode-se, ento, construir um algoritmo de minimizao
de funes que, em sua forma mais simples, envolve a aplicao sequencial de (5) para a busca do timo:
k 0 while (critrio de parada no for satisfeito) do gk gradiente(f (), xk ) Hk Hessiana(f (), xk ) 1 xk +1 xk Hk gk k k +1
end
Mtodo de Newton Modicado
Mtodo de Newton Modicado

Para garantir que o algoritmo produza a diminuio
monotnica do valor da funo objetivo, introduz-se a execuo de uma minimizao unidimensional em cada direo:
k 0 while (critrio de parada no for satisfeito) do gk gradiente(f (), xk ) Hk Hessiana(f (), xk ) 1 dk Hk gk k arg min f (xk + dk ) xk +1 xk + k dk k k +1
end
Determinao Numrica da Hessiana
Determinao Numrica da Hessiana

Sendo g(x) o gradiente da funo objetivo, avaliado
numericamente por meio de diferenas nitas, como j visto, o mtodo de clculo da Hessiana por diferenas nitas pode ser formulado como:
k 0 for (i 1 until n) do Hi [g(x + ei ) g(x)] /
end
H [H1 Hn ]
Construo da Hessiana
Examine-se novamente a equao, reproduzida a
seguir por convenincia: f (x) = f (x0 ) + H(x0 )(x x0 ) (6)
Reescrevendo a equao, para dois pontos x1 e x2
(tomar cuidado: o ndice subscrito no se refere, aqui, s coordenadas de um vetor, mas a vetores diferentes), e supondo que a Hessiana seja constante em todo o espao: H(x1 x2 ) = f (x1 ) f (x2 ) (7)
Essa mesma frmula pode ser repetida para a seguinte
sequncia de vetores: H(x1 x2 ) = H(x2 x3 ) = H(xn1 xn ) = H(xn xn+1 ) = f (x1 ) f (x2 ) f (x2 ) f (x3 ) (8) f (xn1 ) f (xn ) f (xn ) f (xn+1 )
. . .
Denindo os vetores vi e ri como:
vi = xi xi+1 (9) ri = tem-se que: H [v1 v2 vn ] = [r1 r2 rn ] (10) f (xi ) f (xi+1 )
Denindo V = [v1 v2 vn ] e R = [r1 r2 rn ],
obtm-se: HV = R Observando agora que os vetores vi tratam-se de escolhas, nota-se que possvel escolh-los de tal forma que V seja inversvel, o que permite fazer: H = V 1 R em n + 1 pontos adequadamente escolhidos no espao, possvel determinar a Hessiana dessa funo. (12) (11)
Isso signica que, avaliando o gradiente da funo f (x)
Correo de Posto 1
Correo de Posto 1
Conforme foi visto, h certa arbitrariedade na escolha
dos vetores vi , a nica condio necessria de que sejam n vetores linearmente independentes. Dessa forma, possvel acrescentar restries ao problema de forma a obter frmulas recursivas particularmente interessantes. A idia a ser explorada aqui a de que deve ser possvel fazer a construo recursiva da estimativa da Hessiana, ou de sua inversa, durante o decorrer de um processo de otimizao. A estimativa parcial da Hessiana deve poder ser utilizada no decorrer desse processo. Isso particularmente til na otimizao de funes no-quadrticas, em que a Hessiana no constante: esse procedimento permite a adaptao contnua da estimativa da Hessiana ao seu valor localmente vlido.
Correo de Posto 1
Correo de Posto 1
1 Seja Hk = Hk . A idia construir um mtodo
recursivo que produza uma sequncia de estimativas [Hk ], a partir de novas avaliaes da funo e de seu gradiente em novos pontos. A recurso proposta da forma:
T Hk +1 = Hk + k zk zk
(13)
sendo zk Rn e k R.
Correo de Posto 1
Correo de Posto 1
T Claramente, o termo k zk zk uma matrix n n com
posto no mximo igual a 1, de onde vem o nome do algoritmo. Supondo, para ns de desenvolvimento da frmula de recurso, que a funo objetivo fosse exatamente quadrtica, preciso denir k e zk em funo dos valores conhecidos (os vetores [xk ] e [ f (xk )]), de forma a garantir que seja satisfeita a relao: Hk +1 ri = vi i = 1, . . . , k (14)
Essa relao quase a mesma que (11), mas exige a igualdade apenas para os pontos j avaliados, at o ndice k .
Correo de Posto 1
Correo de Posto 1
Em primeiro lugar, desenvolve-se a frmula para i = k .
Substituindo-se (13) em (14), obtm-se:

T k zk zk rk = vk Hk rk T T T (vk Hk rk )(vk Hk rk )T = k zk zk rk k rk zk zk T T (vk Hk rk )(vk Hk rk )T = k (zk rk )2 k zk zk
(15)
Com isso, quase se tem uma frmula para o termo de T correo k zk zk em funo de Hk , vk e rk , a menos da T quantidade escalar k (zk rk )2 .
Correo de Posto 1
Correo de Posto 1
Para se determinar essa constante, faz-se:

T T T rk k zk zk rk = rk (vk Hk rk )
(16)
T T T (zk rk )2 = rk vk rk Hk rk
Substituindo-se (16) em (15) obtm-se:

T k zk zk =
1
T rk vk T rk Hk rk
(vk Hk rk )(vk Hk rk )T (17)
ou, voltando frmula recursiva para clculo de Hk +1 : Hk +1 = Hk + 1

T rk v k T rk Hk rk
(vk Hk rk )(vk Hk rk )T (18)
Mtodos quasi-Newton
Mtodos quasi-Newton
A correo proposta pelo mtodo DFP dada por:

DFP Ck = T T Hk rk rk Hk vk vk T T v k rk rk Hk rk
(19)
A correo proposta pelo mtodo BFGS dada por:
BFGS Ck =
1+
T rk Hk rk T rk vk
T T T vk vk vk rk Hk + Hk rk vk T T vk rk rk vk (20)
Mtodos quasi-Newton
Mtodos quasi-Newton
A correo genrica utilizada pelos mtodos
conhecidos como famlia de Broyden dada por:

DFP BFGS Ck = (1 ) Ck + Ck
(21)
Em todos os casos da famlia de Broyden, incluindo os casos extremos BFGS e DFP, a frmula de atualizao para a estimativa da inversa da Hessiana ca: Hk +1 = Hk + Ck () (22)
Para = 0, obtm-se o mtodo DFP, e para = 1 o mtodo BFGS.
Mtodos quasi-Newton
Mtodos quasi-Newton
Alguns fatos devem ser citados a respeito dessa
correo da famlia de Broyden:

A correo realizada a cada passo de posto
possivelmente dois, o que facilmente vericvel por inspeo. A correo sempre denida positiva, de forma que a matriz Hk preservar sua propriedade de ser denida positiva. Dados i e j tais que 0 i < j k , ento viT Fvj = 0, ou seja, vi e vj so F -ortogonais. Dado i tal que 0 i k , ento Hk +1 Fvi = vi .

Aula3 2

Caricato da

Informazioni sul documento

Titolo originale

Copyright

Formati disponibili

Condividi questo documento

Condividi o incorpora il documento

Opzioni di condivisione

Hai trovato utile questo documento?

Questo contenuto è inappropriato?

Copyright:

Formati disponibili

Aula3 2

Caricato da

Copyright:

Formati disponibili

Aproximaes Quadrticas

Unidade 3: Mtodos Numricos para Otimizao Irrestrita

Belo Horizonte, Agosto de 2010

Seja uma funo f (x) que possa ser aproximada por

uma funo quadrtica: f (x) c0 + c1 (x x0 ) + (x x0 )T C2 (x x0 )

Ou seja, se a funo a ser otimizada for exatamente

Pode-se, ento, construir um algoritmo de minimizao

Mtodo de Newton Modicado

Mtodo de Newton Modicado

Para garantir que o algoritmo produza a diminuio

Determinao Numrica da Hessiana

Determinao Numrica da Hessiana

Sendo g(x) o gradiente da funo objetivo, avaliado

Examine-se novamente a equao, reproduzida a

seguir por convenincia: f (x) = f (x0 ) + H(x0 )(x x0 ) (6)

Reescrevendo a equao, para dois pontos x1 e x2

Essa mesma frmula pode ser repetida para a seguinte

Denindo os vetores vi e ri como:

vi = xi xi+1 (9) ri = tem-se que: H [v1 v2 vn ] = [r1 r2 rn ] (10) f (xi ) f (xi+1 )

Denindo V = [v1 v2 vn ] e R = [r1 r2 rn ],

Isso signica que, avaliando o gradiente da funo f (x)

Conforme foi visto, h certa arbitrariedade na escolha

1 Seja Hk = Hk . A idia construir um mtodo

T Claramente, o termo k zk zk uma matrix n n com

Em primeiro lugar, desenvolve-se a frmula para i = k .

Substituindo-se (13) em (14), obtm-se:

Para se determinar essa constante, faz-se:

Substituindo-se (16) em (15) obtm-se:

(vk Hk rk )(vk Hk rk )T (17)

ou, voltando frmula recursiva para clculo de Hk +1 : Hk +1 = Hk + 1

(vk Hk rk )(vk Hk rk )T (18)

A correo proposta pelo mtodo DFP dada por:

A correo proposta pelo mtodo BFGS dada por:

A correo genrica utilizada pelos mtodos

conhecidos como famlia de Broyden dada por:

Para = 0, obtm-se o mtodo DFP, e para = 1 o mtodo BFGS.

Alguns fatos devem ser citados a respeito dessa

correo da famlia de Broyden:

Potrebbero piacerti anche