Documenti di Didattica
Documenti di Professioni
Documenti di Cultura
Metodo de Newton
Eduardo Camponogara
Departamento de Automa cao e Sistemas
Universidade Federal de Santa Catarina
DAS-9011: Metodos de Otimiza cao
DAS-9011
Sum ario
Introdu cao
O Metodo de Newton em uma Variavel
O Metodo de Newton em M ultiplas Variaveis
Convergencia
Metodos de Regiao de Conan ca
Otimiza cao de Fun coes Sujeito a Igualdades
DAS-9011
Introdu c ao
Sumario
Introdu cao
O Metodo de Newton em uma Variavel
O Metodo de Newton em M ultiplas Variaveis
Convergencia
Metodos de Regiao de Conan ca
Otimiza cao de Fun coes Sujeito a Igualdades
DAS-9011
Introdu c ao
Agenda
Introdu cao
Agenda
Fundamentos
Convergencia
Extensoes
DAS-9011
Introdu c ao
Agenda
Problemas de Interesse
Solu cao de equa coes nao-lineares
P
2
: Encontre x R
n
, tal que c(x) = 0
onde c : R
n
R
m
DAS-9011
Introdu c ao
Agenda
Problemas de interesse
Minimiza cao irrestrita
P
1
: Minimize f (x)
x R
n
onde f : R
n
R
DAS-9011
Introdu c ao
Problemas de uma vari avel
Metodo de Newton em uma Variavel
Objetivos
Seja x
k
a solu cao candidata na itera cao k, sendo a solu cao
inicial x
0
denida arbitrariamente.
(x
k
)(x
k+1
x
k
)
onde c
(x) = dc/dx.
DAS-9011
O Metodo de Newton em uma Vari avel
Sumario
Introdu cao
O Metodo de Newton em uma Variavel
O Metodo de Newton em M ultiplas Variaveis
Convergencia
Metodos de Regiao de Conan ca
Otimiza cao de Fun coes Sujeito a Igualdades
DAS-9011
O Metodo de Newton em uma Vari avel
O Metodo de Newton
O metodo calcula a proxima solu cao candidata de forma a resolver
a aproxima cao linear:
c(x
k
) + c
(x
k
)(x
k+1
x
k
) = 0
logo,
x
k+1
= x
k
[c
(x
k
)]
1
c(x
k
)
Tipicamente, nao se espera que c(x
k+1
) = 0, mas que x
k+1
dena
uma solu cao candidata de melhor qualidadedo que aquela
denida por x
k
.
DAS-9011
O Metodo de Newton em uma Vari avel
O Metodo de Newton
| < |x
k
x
| e
|c
(x
k+1
)| < |c
(x
k
)|
onde x
) = 0.
| = 0.
DAS-9011
O Metodo de Newton em uma Vari avel
O Metodo de Newton
Algoritmo de Newton
Dado um x inicial e uma tolerancia > 0
Repita
Calcule c(x) e c
(x)
Se |c(x)| < , retorne x
x x c(x)/c
(x)
Ate que um n umero maximo de itera coes seja atingido
DAS-9011
O Metodo de Newton em uma Vari avel
Exemplo
O Metodo de Newton
Exemplo
|
0 1000 3.997990000000000e+006 9.981492189406418e+002
1 500.1262815703926 9.994949375065696e+005 4.982755005110344e+002
2 250.1907039194102 2.498711719029211e+005 2.483399228600520e+002
3 125.2254781755631 6.246523058084260e+004 1.233746971162049e+002
4 62.74799109896568 1.561374556562558e+004 6.089721003960747e+001
5 31.51949620842356 3.900875572514462e+003 2.966871514906535e+001
6 15.92572254113459 9.726631087465399e+002 1.407494148177637e+001
7 8.169595939998821 2.406299994113832e+002 6.318814880640609e+000
8 4.371580213652639 5.769969383029171e+001 2.520799154294426e+000
9 2.621653885664322 1.224896861354670e+001 7.708728263061098e-001
10 1.976061758605505 1.667156778081310e+000 1.252806992472928e-001
11 1.855327609771498 5.830693877868853e-002 4.546550413286443e-003
12 1.850787497645492 8.245047246546733e-005 6.438287280197130e-006
13 1.850781059371159 1.658051473896194e-010 1.294742091317858e-011
14 1.850781059358212 0 2.220446049250313e-016
DAS-9011
O Metodo de Newton em uma Vari avel
Exemplo
Exemplo
1 2 3 4 5 6 7 8 9 1 2 3 4 5 6 7 8 9
x
0
x
1
x
2
y = f (x)
x
DAS-9011
O Metodo de Newton em uma Vari avel
Exemplo
Metodo de Newton
Observa coes
/x
k
x
2
M
para k sucientemente grande se x
0
pertence `a regiao de
convergencia.
(x
k
)[x
k+1
x
k
] +
1
2
f
(x
k
)[x
k+1
x
k
]
2
.
(x
k
) + f
(x
k
)[x
k+1
x
k
] = 0
x
k+1
= x
k
[f
(x
k
)]
1
f
(x
k
).
DAS-9011
O Metodo de Newton em uma Vari avel
Exemplo
Exemplo
Encontre um mnimo de f (x) = cos(x), conforme Figura abaixo.
y = cos(x)
x
DAS-9011
O Metodo de Newton em uma Vari avel
Exemplo
Exemplo
Exemplo
= 0.
Se iniciamos no ponto x
0
= 3/4, o metodo converge para o
ponto x
= .
DAS-9011
O Metodo de Newton em uma Vari avel
Exemplo
Problemas com o Metodo de Newton
Questoes
que
converge para um ponto x
estacionario, ou seja, f
(x
) = 0.
Todavia, x
(x
) = 0 e f
(x
) 0
(x
) = 0 e f
(x
) > 0
DAS-9011
O Metodo de Newton em M ultiplas Vari aveis
Sumario
Introdu cao
O Metodo de Newton em uma Variavel
O Metodo de Newton em M ultiplas Variaveis
Convergencia
Metodos de Regiao de Conan ca
Otimiza cao de Fun coes Sujeito a Igualdades
DAS-9011
O Metodo de Newton em M ultiplas Vari aveis
Resolu c ao de Sistemas de Equa c oes
O Metodo de Newton em M ultiplas Variaveis
Problema de interesse
Desejamos encontrar um vetor x = (x
1
, . . . , x
n
) tal que:
c(x) =
_
_
c
1
(x)
.
.
.
c
m
(x)
_
_
= 0 (1)
Para simplicar a apresenta cao, suponha que m = n.
DAS-9011
O Metodo de Newton em M ultiplas Vari aveis
Resolu c ao de Sistemas de Equa c oes
O Metodo de Newton em M ultiplas Variaveis
_
c
1
/x
1
. . . c
1
/x
n
.
.
.
.
.
.
.
.
.
c
n
/x
1
. . . c
n
/x
n
_
_
=
_
_
c
T
1
.
.
.
c
T
n
_
_
(3)
DAS-9011
O Metodo de Newton em M ultiplas Vari aveis
Resolu c ao de Sistemas de Equa c oes
O Metodo de Newton em M ultiplas Variaveis
Para encontrar o proximo iterando, fazemos
c(x
k
) + G(x
k
)[x
k+1
x
k
] = 0
resultando no processo iterativo:
x
k+1
= x
k
G
1
(x
k
)c(x
k
). (4)
DAS-9011
O Metodo de Newton em M ultiplas Vari aveis
Resolu c ao de Sistemas de Equa c oes
O Metodo de Newton em M ultiplas Variaveis
Propriedades do metodo de Newton
O metodo de Newton em m ultiplas variaveis herda as mesmas
propriedades de sua versao monovariada:
Buscamos um vetor x = (x
1
, . . . , x
n
) tal que o valor da fun cao
f (x) seja mnimo.
2
f (x
k
)[x
k+1
x
k
]
DAS-9011
O Metodo de Newton em M ultiplas Vari aveis
Minimiza c ao Irrestrita
Minimiza cao de Fun coes
Problema de Interesse
Fazendo x
k+1
= x
+
, x
k
= x, f (x
k
) = g,
2
f (x
k
) = H e
p = [x
k+1
x
k
], a aproxima cao pode ser reescrita como segue:
f (x
+
) = f (x) + g
T
p +
1
2
p
T
Hp.
Formalmente:
f (x
+
) = 0 g + Hp = 0 p = H
1
g.
Portanto, o processo iterativo pode ser expresso como segue:
x
k+1
= x
k
[
2
f (x
k
)]
1
f (x
k
).
Condicoes Necessarias:
f (x
k
) = 0 e
2
f (x
k
) 0 (positiva semi-denida)
Condicoes Sucientes:
f (x
k
) = 0 e
2
f (x
k
) > 0 (positiva denida)
DAS-9011
Convergencia
Sumario
Introdu cao
O Metodo de Newton em uma Variavel
O Metodo de Newton em M ultiplas Variaveis
Convergencia
Metodos de Regiao de Conan ca
Otimiza cao de Fun coes Sujeito a Igualdades
DAS-9011
Convergencia
Aspectos de Convergencia
Uma sequencia x
k
com limite x
e linearmente convergente se
existe uma constante c (0, 1) tal que:
|x
k
x
| c|x
k1
x
| (5)
para k sucientemente grande.
DAS-9011
Convergencia
Convergencia Linear
Convergencia Linear
A sequencia x
k
com limite x
| Mc
k
(6)
para k sucientemente grande.
DAS-9011
Convergencia
Convergencia Quadr atica
Convergencia Quadratica
Uma sequencia x
k
com limite x
converge quadraticamente se
existe uma constante c > 0 tal que:
|x
k
x
| c|x
k1
x
|
2
(7)
para k sucientemente grande.
DAS-9011
Convergencia
Convergencia Quadr atica
Convergencia Quadratica
Exemplo
A sequencia x
k
= 1 + (
1
2
)
2
k
converge quadraticamente para
x
= 1 pois:
|x
k+1
x
| =
_
1
2
_
2
k+1
=
_
_
1
2
_
2
k
_
2
= |x
k
x
|
2
. (8)
Denindo r
k
= log
10
[|x
k
x
|/|x
|], quando |x
| = 0, e
dividindo por |x
c|). (9)
DAS-9011
Convergencia
Convergencia Quadr atica
Convergencia Quadratica
Exemplo
| 0, r
k
+, eventualmente o
primeiro termo da parte `a direita da desigualdade dominara o
segundo.
r
k
e aproximadamente o n umero de dgitos corretos na
itera cao k, portanto o n umero de dgitos corretos
praticamente dobra a cada itera cao.
DAS-9011
Convergencia
Convergencia do Metodo de Newton
Aspectos de Convergencia do Metodo de Newton
Convergencia do metodo de Newton
)
tem posto completo e se x
0
e sucientemente proximo de x
(x
) = 0.
DAS-9011
Convergencia
Convergencia do Metodo de Newton
Convergencia do Metodo de Newton: Caso Univariado
Seja I = [x
, x
(x) f
(y)| L|x y|
para todo x, y I .
DAS-9011
Convergencia
Convergencia do Metodo de Newton
Convergencia do Metodo de Newton: Caso Univariado
| , entao
|x
k+1
x
|
L
2m
|x
k
x
|
2
(10)
.
DAS-9011
Convergencia
Convergencia do Metodo de Newton
Convergencia do Metodo de Newton: Caso Univariado
Denotando x
k+1
por x
+
e x
k
por x, temos que
x+ = x
f (x)
f
(x)
Logo,
|x
+
x
| = |x
f (x)
f
(x)
x
|
=
| f (x) f
(x)(x
x)|
|f
(x)|
=
|f (x
) f (x) f
(x)(x
x)|
|f
(x)|
DAS-9011
Convergencia
Convergencia do Metodo de Newton
Convergencia do Metodo de Newton: Caso Univariado
Lembre-se que f (x
) = 0.
(x)| m e, portanto,
|x
+
x
|
|f (x
) f (x) f
(x)(x
x)|
m
(11)
DAS-9011
Convergencia
Convergencia do Metodo de Newton
Convergencia do Metodo de Newton: Caso Univariado
Para limitar o numerador, podemos proceder como segue
|f (x
) f (x) f
(x)(x
x)| = |
_
x
x
(f
(u) f
(x))du|
_
x
x
|f
(u) f
(x)|du
L
_
x
x
|u x|du
= L
|x
x|
2
2
(12)
DAS-9011
Convergencia
Convergencia do Metodo de Newton
Convergencia do Metodo de Newton: Caso Univariado
|
L
2m
|x
x|
2
o que
prova (10).
| 0.
| e m/L,
entao convergencia quadratica segue imediatamente.
|
L
2m
|x
0
x
|
2
L
2m
2
/2.
DAS-9011
Convergencia
Convergencia do Metodo de Newton
Convergencia do Metodo de Newton: Caso Univariado
|
L
2m
|x
1
x
|
2
L
2m
2
/4 /8.
|
L
2m
|x
k
x
|
2
2
_
1
4
_
2
k
.
DAS-9011
Convergencia
Convergencia do Metodo de Newton
Convergencia do Metodo de Newton: Caso Univariado
Observa coes
Portanto, se f (x
) = 0 e f
2
f (x
k
)p.
Sabemos que f
k
(p) e uma boa aproxima cao de f (x
k
+ p)
quando p esta dentro de uma vizinhan ca proxima de zero.
DAS-9011
Metodos de Regi ao de Conan ca
Metodos de Regiao de Conan ca
Minimiza cao
Mesmo quando
2
f (x
k
) nao e positiva denida ou ate mesmo
quando a dire cao Newton nao e uma dire cao de descenso, o
passo de Newton restrito p
k
reduz o custo da fun cao, desde
que f (x
k
) = 0 e
k
seja sucientemente pequeno.
DAS-9011
Metodos de Regi ao de Conan ca
Metodos de Regiao de Conan ca
Note que para todo p tal que p
k
,
f (x
k
+ p) = f
k
(p) + o(
2
k
)
e portanto
f (x
k
+ p
k
) = f
k
(p
k
) + o(
2
k
)
= f (x
k
) + Min
p
k
{f (x
k
)
T
p +
1
2
p
T
2
f (x
k
)p} + o(
2
k
).
DAS-9011
Metodos de Regi ao de Conan ca
Metodos de Regiao de Conan ca
Denotando
p
k
=
f (x
k
)
f (x
k
)
k
,
temos
f (x
k
+ p
k
) f (x
k
) + f (x
k
)
T
p
k
+
1
2
p
T
k
2
f (x
k
) p
k
} + o(
2
k
)
= f (x
k
)
k
f (x
k
) +
2
k
2f (x
k
)
2
f (x
k
)
T
2
f (x
k
)f (x
k
) + o(
2
k
)
DAS-9011
Metodos de Regi ao de Conan ca
Metodos de Regiao de Conan ca
Regiao de Conan ca
Para
k
sucientemente pequeno o termo negativo
k
f (x
k
) domina os ultimos dois termos, o que nos leva
a concluir que: f (x
k+1
) < f (x
k
).
Uma redu cao nos custos pode ser obtida mesmo quando
f (x
k
) = 0 desde que
k
seja sucientemente pequeno e f
tenha uma dire cao de curvatura negativa no ponto x
k
DAS-9011
Metodos de Regi ao de Conan ca
Metodos de Regiao de Conan ca
Regiao de Conan ca
e va para o Passo 1.
DAS-9011
Metodos de Regi ao de Conan ca
Metodos de Regiao de Conan ca
Algoritmo
Passo 3: Fa ca
k+1
=
_
_
_
1
p
k
se r
k
<
1
k
se
2
r
k
e p
k
=
k
k
caso contrario
Volte ao Passo 1.
DAS-9011
Metodos de Regi ao de Conan ca
Metodos de Regiao de Conan ca
Aspectos de convergencia
Alem disso, se {x
k
} converge para um mnimo local x
nao
singular, entao o metodo tem a mesma taxa de convergencia
do metodo de Newton puro.
DAS-9011
Otimiza c ao de Fun c oes Sujeito a Igualdades
Sumario
Introdu cao
O Metodo de Newton em uma Variavel
O Metodo de Newton em M ultiplas Variaveis
Convergencia
Metodos de Regiao de Conan ca
Otimiza cao de Fun coes Sujeito a Igualdades
DAS-9011
Otimiza c ao de Fun c oes Sujeito a Igualdades
Otimiza cao de Fun coes Sujeito a Igualdades
encontrar um otimo local para uma fun cao f (x) (i.e., solu cao
que satisfaz as condi c oes necessarias de primeira ordem).
i =1
i
c
i
(x)
onde R
m
e o vetor com os multiplicadores de Lagrange.
DAS-9011
Otimiza c ao de Fun c oes Sujeito a Igualdades
Otimiza cao de Fun coes Sujeito a Igualdades
Da mesma forma que o problema de minimiza cao irrestrita, para
um par solu cao-multiplicador (x
x
L(x
) = 0 (14)
L(x
) = 0 (15)
DAS-9011
Otimiza c ao de Fun c oes Sujeito a Igualdades
Otimiza cao de Fun coes Sujeito a Igualdades
x
L = f (x)
m
i =1
i
c
i
(x)
= f (x) c(x)
T
(16)
L = c(x) (17)
onde c(x) e o Jacobiano de c.
Note que as condi coes (14) e (15) podem ser satisfeitas por
um par (x
i =1
2
c
i
(x) (18)
DAS-9011
Otimiza c ao de Fun c oes Sujeito a Igualdades
Otimiza cao de Fun coes Sujeito a Igualdades
, ou
seja, para todo u {v : c
i
(x
)
T
v = 0, i = 1, . . . , m}.
DAS-9011
Otimiza c ao de Fun c oes Sujeito a Igualdades
Otimiza cao de Fun coes Sujeito a Igualdades
).
):
x
L(x, ) =
x
L( x,
) +
2
f ( x)(x x)
i =1
2
c
i
( x)(x x)
m
i =1
c
i
( x)(
i
i
)
=
x
L( x,
) + [
2
f ( x)
m
i =1
2
c
i
( x)](x x)
c( x)
T
(
)
= f ( x) c( x)
T
+ H(x x) c( x)
T
(
)
= f ( x) + H(x x) c( x)
T
DAS-9011
Otimiza c ao de Fun c oes Sujeito a Igualdades
Otimiza cao de Fun coes Sujeito a Igualdades
Metodo de Newton
Segundo, aproximamos a fun cao
L(x, ) = c( x) c( x)(x x)
DAS-9011
Otimiza c ao de Fun c oes Sujeito a Igualdades
Otimiza cao de Fun coes Sujeito a Igualdades
Metodo de Newton
Logo, dado um par (x
k
,
k
), o proximo iterando (x
k+1
,
k+1
) do
metodo de Newton e obtido resolvendo um sistema de equa coes
lineares:
_
x
L(x
k+1
,
k+1
) = 0
L(x
k+1
,
k+1
) = 0
se e somente
_
f (x
k
) + H(x
k+1
x
k
) c(x
k
)
T
k+1
= 0
c(x
k
) c(x
k
)(x
k+1
x
k
) = 0
DAS-9011
Otimiza c ao de Fun c oes Sujeito a Igualdades
Otimiza cao de Fun coes Sujeito a Igualdades
Metodo de Newton
De forma compacta:
_
H c(x
k
)
T
c(x
k
) 0
_ _
x
k+1
k+1
_
=
_
Hx
k
f (x
k
)
c(x
k
) c(x
k
)x
k
_
DAS-9011
Otimiza c ao de Fun c oes Sujeito a Igualdades
Metodo de Newton
Fim!