FLAVIA MESCKO FERNANDES

VELOCIDADE DE CONVERGNCIA DE MTODOS DE

OTIMIZAO IRRESTRITA

CURITIBA
DEZEMBRO, 2010

FLAVIA MESCKO FERNANDES

VELOCIDADE DE CONVERGNCIA DE MTODOS DE

OTIMIZAO IRRESTRITA

Monografia apresentada como requisito

parcial obteno do grau de Licenciado em Matemtica, pelo Departamento de
Matemtica, Setor de Cincias exatas, Universidade Federal do Paran.
Orientador: Ademir Alves Ribeiro
Co-Orientadora: Elizabeth Wegner Karas

CURITIBA
DEZEMBRO, 2010

Termo de Aprovao

FLAVIA MESCKO FERNANDES

VELOCIDADE DE CONVERGNCIA DE MTODOS DE

OTIMIZAO IRRESTRITA

Monografia apresentada como requisito parcial obteno do grau de Licenciado em

Matemtica, pelo Departamento de Matemtica, Setor de Cincias exatas, Universidade
Federal do Paran, pela seguinte banca examinadora:

Prof Dr. Ademir Alves Ribeiro

Universidade Federal do Paran

Profa . Dra. Lucelina Batista dos Santos

Universidade Federal do Paran

Curitiba, Dezembro de 2010

Dedicatria

A Deus,
Pelo dom da vida.

ii

Agradecimentos

Agradeo primeiramente ao Senhor Jesus Cristo por mais uma importante etapa
concluda. Agradeo tambm a minha famlia, pelo apoio e dedicao. Meus amigos
do curso, pelo companheirismo e boas horas de estudo. Agradeo aos meus professores
pelos conhecimentos que me transmitiram, ao professor Paulo Henrique e professora Elizabeth que me orientaram e auxiliaram em pesquisas no decorrer do curso. E
agradeo especialmente ao professor Ademir, que com dedicao me orientou e me ajudou na concluso deste trabalho, pelo exemplo e lies que contribuiram para minha
formao profissional.

iii

Sumrio

Lista de Figuras . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

vi

Resumo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . viii
1

INTRODUO . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

ESTUDO DE SEQUNCIAS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

2.1

Convergncia de Sequncias . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

2.2

Nmero de Ouro . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

2.3

Velocidade de Convergncia . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

MTODO DE CAUCHY . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11

3.1

Algoritmo de Cauchy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11

3.2

Algoritmo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12

3.3

Convergncia Global . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13

3.4

Velocidade de Convergncia . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14

MTODO DE NEWTON . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19

4.1

Mtodo de Newton para Resoluo de Equaes . . . . . . . . . . . . . . . . . . . . . . . . 19

4.2

Mtodo de Newton para Otimizao Irrestrita . . . . . . . . . . . . . . . . . . . . . . . . . . 20

iv

4.3

Algoritmo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21

4.4

Convergncia . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22

MTODO DA SEO UREA . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27

5.1

Busca Unidimensional . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27

5.2

Mtodo da Seo urea - Busca exata . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28

5.3

Algoritmo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34

5.4

Convergncia do Mtodo da Seo urea . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37

5.5

Velocidade de Convergncia . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40

CONCLUSO . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41

Referncias . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43

Lista de Figuras

Figura 1

Termos da sequncia (xk ) na reta.

Figura 2

Termos da Sequncia (xk )

Figura 3

Passos do Algoritmo de Cauchy

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12

Figura 4

Passos do Algoritmo de Cauchy

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18

Figura 5

Uma iterao do Mtodo de Newton para equaes

Figura 6

Uma iterao do Mtodo de Newton

Figura 7

Busca unidimensional exata

Figura 8

Funes Unimodais

Figura 9

Seo urea

Figura 10

Intervalo dividido em trs partes iguais

...............................

......................................

. . . . . . . . . . . . . . . 20

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29

vi

. . . . . . . . . . . . . . . . . . . . . . . . . . 30

Figura 11

Partio do intervalo [a, b]

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32

Figura 12

Partio do intervalo [a, b]

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33

Figura 13

Anlise da primeira etapa do algoritmo

Figura 14

Anlise do item (i) do teorema 5.7

Figura 15

Todos os intervalos [ak , bk ] contm o minimizador da funo quadrtica.

vii

. . . . . . . . . . . . . . . . . . . . . . . . . . 36

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37

39

Resumo

Um conceito importante em Anlise Matemtica o de convergncia de uma

sequncia. Neste trabalho aprofundamos este estudo, analisando tambm a velocidade
com que uma sequncia converge. Concentramos nosso estudo em trs velocidades de
convergncia: linear, superlinear e quadrtica. Para isto consideramos uma nova sequncia: a sequncia de erros definida pela diferena entre cada termo e o limite da
sequncia. Note que a sequncia converge se e somente se a sequncia de erros tende a
zero. A motivao deste trabalho a anlise da convergncia de mtodos de otimizao,
visto que para fins prticos fundamental que os algoritmos tenham uma convergncia
rpida. Discutimos alguns mtodos clssicos para otimizao irrestrita. O mtodo de
Cauchy que faz a cada iterao uma busca unidirecional na direo de mxima descida,
ou seja, na direo oposta ao gradiente, tem convergncia linear. O mtodo de Newton, por outro lado, minimiza, em cada iterao, a aproximao quadrtica da funo
objetivo. Provamos que, se o ponto inicial estiver prximo de um minimizador, a sequncia gerada por este mtodo converge superlinearmente. Alm disso, se a Hessiana
da funo a ser minimizada for Lipschitz, ento a convergncia do mtodo de Newton
quadrtica. Nos mtodos de busca unidirecional, precisamos minimizar uma funo
a partir de um certo ponto, segundo uma direo dada, que a direo de busca. Este
problema equivalente a minimizar uma funo real de uma varivel, que pode ser
resolvido por vrios mtodos. Um deles o Mtodo da Seo urea, que faz a minimizao exata desta funo. Apresentamos neste trabalho um estudo da convergncia
deste mtodo, provando que linear e cuja taxa o nmero de ouro.
Palavras-chave: Velocidade de Convergncia, Mtodo de Cauchy, Mtodo de
Newton, Mtodo da Seo urea.

viii

INTRODUO

Em otimizao a soluo de um problema de minimizar uma funo obtida

por meio de um processo iterativo. Consideramos um ponto inicial x0 , obtemos um
ponto melhor x1 , isto , que diminui o valor da funo objetivo e repetimos o processo
gerando uma sequncia na qual a funo objetivo decresce. Basicamente temos trs
aspectos concernentes aos mtodos de otimizao. O primeiro consiste na criao do
algoritmo propriamente dito, que deve levar em conta a estrutura do problema e as
propriedades satisfeitas pelas solues, entre outras coisas. O segundo aspecto se refere
as sequncias geradas pelo algoritmo, onde a principal questo se tais sequncias
realmente convergem para uma soluo do problema. O terceiro ponto a ser considerado
a velocidade com que a sequncia converge para uma soluo, para fins prticos,
no basta que esta seja convergente preciso que uma aproximao do limite possa
ser obtida em um tempo razovel. Deste modo, bons algoritmos so os que geram
sequncias que convergem rapidamente para uma soluo.
Uma forma geral de construir um algoritmo consiste em escolher, a partir de
cada ponto obtido, uma direo para dar o prximo passo. A direo escolhida no
Algoritmo de Cauchy a oposta ao grandiente, pois esta a de maior decrescimento
da funo. J o algoritmo de Newton minimiza, em cada iterao, a aproximao
quadrtica da funo objetivo. Quando a direo de busca j dada e precisamos minimizar uma funo a partir de um certo ponto, segundo esta direo, recaimos em um
problema de minimizar uma funo real de apenas uma varivel. Um dos mtodos que
podem ser usados para resolver este problema o Mtodo da Seo urea, que faz a
minimizao exata desta funo.

Este trabalho se organiza da seguinte forma: inicialmente so apresentados

alguns conceitos de Anlise que sero utilizados nos prximos captulos. feita uma
reviso sobre convergncia de sequncias e velocidade de convergncia.
O segundo e terceiro captulos apresentam os algoritmos de Cauchy e de Newton, alm da anlise da velocidade de convergncia destes mtodos.
Encerrando o trabalho com um estudo sobre o Mtodo da Seo urea, abordado no quarto captulo, bem como a anlise das etapas deste algoritmo e sua velocidade
de convergncia, algumas das demonstraes apresentadas neste captulo no foram encontradas nas principais literaturas, portanto este estudo ocorreu de forma independente.

ESTUDO DE SEQUNCIAS

Neste captulo apresentamos algumas definies bsicas e alguns resultados

de Anlise relevantes para este trabalho. As principais referncias deste captulo so
(LIMA, 1981b; RIBEIRO; KARAS, 2010).

2.1

Convergncia de Sequncias
Uma sequncia em IRn uma aplicao k IN 7 xk IRn , definida no

conjunto IN dos nmeros naturais. Denotaremos uma sequncia por (xk )kIN , ou simplesmente por (xk ). Por convenincia, consideramos que IN = {0, 1, 2, 3, . . .}.
Definio 2.1 Diz-se que o ponto a IRn o limite da sequncia (xk ) quando, para
todo > 0 dado, possvel obter k0 IN tal que
k k0 kxk ak < .
Neste caso, tambm dizemos que a sequncia (xk ) converge para a e indicamos este
fato por xk a ou lim xk = a.
k

Vemos da definio anterior que o ponto a IRn o limite da sequncia (xk )

se para cada > 0, o conjunto IN1 = {k IN | kxk ak } finito, ou seja, fora da
bola B(a, ) s podero estar, no mximo, os termos x1 , . . . , xk0 .
Uma subsequncia de (xk ) a restrio desta sequncia a um subconjunto
infinito IN0 = {k1 < k2 < . . . < ki < . . .} IN. Equivalentemente, uma subsequncia

de (xk ) uma sequncia do tipo (xk )kIN0 ou (xki )iIN , onde (ki )iIN uma sequncia
crescente de inteiros positivos. Note que ki i, para todo i IN.
Teorema 2.2 Se uma sequncia (xk ) converge para um limite a, ento toda subsequncia (xki ) tambm converge para a.
Demonstrao. Dado > 0 existe um k0 tal que para todo k > k0 tem-se kxk ak < .
Como os ndices da subsequncia formam um subconjunto infinito, existe entre eles um
ki0 k0 . Ento para ki ki0 temos ki k0 . Logo kxki ak < .
O limite de uma subsequncia (xk )kIN0 chamado valor de aderncia ou ponto
de acumulao da sequncia (xk ).
Exemplo 2.3 Considere a sequncia xk = (1)k +

1
.
k+1

Sabemos que xk tem dois pontos de acumulao, os valores, 1 e 1, portanto no

convergente. Veja a figura a seguir.

Figura 1: Termos da sequncia (xk ) na reta.

Exemplo 2.4 Considere uma sequncia (xk ) IR. Se xk a > 0 ento existe k0 IN
a
tal que, para k k0 tem-se xk .
2
a
a
De fato, para = , existe k0 tal que, k k0 temos |xk a| < .
2
2
Ento,
a
a
< xk a <
2
2
a
3a
< xk <
2
2
a
Assim temos que, xk . (Conforme ilustrao na Figura 2).
2

Figura 2: Termos da Sequncia (xk )

Definio 2.5 Uma sequncia (xk ) IRn limitada, quando o conjunto formado pelos
seus elementos limitado, ou seja, quando existe um nmero real M > 0 tal que
kxk k M para todo k IN.
Definio 2.6 Seja (xk ) IR uma sequncia limitada. Definimos o limite inferior
da sequncia (xk ) como seu menor ponto de acumulao e denotamos por lim inf xk .
Analogamente definimos o limite superior da sequncia como seu maior ponto de acumulao e denotamos por lim sup xk .
Exemplo 2.7
1. Sendo a sequncia xk = (1)k +

1
, temos lim inf xk = 1 e lim sup xk = 1.
k+1

2. E a sequncia (xk ) = (1, 2, 3, 1, 2, 3, . . .), temos lim inf xk = 1 e lim sup xk = 3.

A seguir enunciaremos alguns resultados importantes da anlise de convergnia
de sequncias. As demonstraes no apresentadas aqui podem ser encontradas em
(LIMA, 1981a, 1981b).
Teorema 2.8 Toda sequncia convergente limitada.
Demonstrao. Digamos que xk a. Para = 1, existe um k0 tal que
k k0 ||xk a|| 1
Veja que
||xk || = ||xk a + a|| ||xk a|| + ||a|| 1 + ||a||

Desta forma, a partir do ndice k0 , a sequncia certamente limitada por 1 + ||a||.

Para englobarmos todos os termos da sequncia, basta considerar
M = max{||x1 ||, ||x2 ||, ..., ||xk0 ||, 1 + ||a||}.
Assim, ||xk || M para todo k IN.
Teorema 2.9 Toda sequncia (xk ) IR montona limitada convergente.
Demonstrao. Seja (x1 x2 x3 ... xk ...) uma sequncia no decrescente
limitada. Os outros casos so anlogos. Como (xk ) limitada, o conjunto
X = {x1 , x2 , x3 , ..., xk , ...} possui supremo. Digamos sup X = a. Dado qualquer
> 0, temos a < a. Pela propriedade do supremo, existe algum k0 IN tal que
a < xk . Como xk a para todo k IN, vemos que
k k0 a < xk a < a + ,
donde segue que xk a
Teorema 2.10 Uma sequncia limitada em IRn convergente se, e somente se, possui
um nico ponto de acumulao.
Teorema 2.11 (Bolzano-Weierstrass) Toda sequncia limitada em IRn possui uma subsequncia convergente.
Teorema 2.12 Seja (xk ) IR uma sequncia montona que possui uma subsequncia
IN0

convergente, digamos xk a. Ento xk a.

Exemplo 2.13 Seja (xk ) IR definida por x0 = 1 e xk+1 = 1 + xk . Temos

s
r
q

k
x = 1 + 1 + + 1 + 2.

1
1
1
+
5
Afirmamos que xk , onde =
o inverso do nmero de ouro.

De fato, podemos provar por induo finita que esta sequncia crescente e limitada,
com 1 xk 2. Ento, pelo Teorema 2.9, (xk ) converge, digamos xk x. De acordo
com o Teorema 2.2, a subsequncia (xk+1 ) tambm converge para o mesmo limite, isto
, xk+1 x. Ento (xk+1 xk ) 0.
O que resulta em

1 + x = 0 (x)2 x 1 = 0

1+ 5
Portanto a sequncia converge para x =
.
2
x

2.2

Nmero de Ouro
O Nmero de Ouro um nmero irracional misterioso e enigmtico que nos

surge numa infinidade de elementos da natureza na forma de uma razo, sendo considerada por muitos como uma oferta de Deus ao mundo. A designao adoptada para este
nmero 0, 618, a inicial do nome de Fdias que foi escultor e arquiteto encarregado da construo do Prtenon, em Atenas.
A histria deste enigmtico nmero perde-se na antiguidade. Esta razo ou
seco urea aparece em muitas esttuas da antiguidade que apresentavam uma especial
harmonia esttica. A excelncia dos desenhos de Leonardo Da Vinci (1452-1519), como
a Monalisa e o Homem Vitruviano revelam os seus conhecimentos matemticos bem
como a utilizao da razo urea como garantia de uma perfeio, beleza e harmonia
nicas.

2.3

Velocidade de Convergncia
No contexto de otimizao existe outro aspecto importante a ser analisado em

uma sequncia: a velocidade de convergncia. Considere, por exemplo sequncias

xk =

1
1
1
1
, y k = k , wk = k2 e z k = 2k
k+5
3
2
2

Vemos que todas elas convergem para 0, mas no com a mesma rapidez, conforme sugere a tabela abaixo.
k

xk

0.1667 0.1429

0.1250

0.1111

0.1000

0.0909

yk

0.3333 0.1111

0.0370

0.0123

0.0041

0.0014

2, 98 108

1, 46 1011

2 1010

5, 42 1020

wk
zk

0.5

0.0625 0, 001953 1, 52 105

0.2500 0.0625

0.0030

1 105

Diante disto conveniente estabelecer uma maneira de medir a velocidade de

sequncias convergentes. Considere ento uma sequncia (xk ) IRn convergente para
x IRn . Assim, ek = ||xk x|| 0. O que faremos avaliar como o erro tende a 0.
Observao: Ao longo deste trabalho utilizaremos a notao ||x|| para indicar
a norma euclidiana de um vetor em IRn .
Definio 2.14 Dizemos que a sequncia (xk ) IRn converge linearmente para x
IRn quando existe uma constante r [0, 1) e um nmero k0 IN, tais que
||xk+1 x||
r
||xk x||
para todo k k0
importante ressaltar que a condio (2.1) implica que xk x, pois
||xk0 +p x|| rp ||xk0 x||,
para todo p IN e r [0, 1).

(2.1)

Exemplos:
A sequncia xk =

1
converge para 0, mas no linearmente.
k+5

De fato, temos
||xk+1 ||
k+5
=
1.
k
||x ||
k+6
A sequncia y k =

1
converge linearmente para 0, pois
3k

1
||y k+1 ||
=
.
||y k ||
3
As sequncias wk =

1
1
k
e
z
=
tambm convergem linearmente para 0.
2
2k
22k

Vejamos agora uma forma mais veloz de convergncia.

Definio 2.15 A sequncia (xk ) IRn converge superlinearmente para x IRn

quando
||xk+1 x||
0.
||xk x||
Veja que a condio (2.2) tambm implica que xk x.
Note que:
y k no converge superlinearmente.
A sequncia wk =
De fato, temos

1
converge superlinearmente para 0.
2k2
2

||wk+1 ||
2k
1
=
0.
2 =
k
2k+1
(k+1)
||w ||
2
2
z k tambm converge superlinearmente para 0.

(2.2)

10

Outra forma de convergncia, ainda mais rpida dada abaixo.

Definio 2.16 Suponha que xk x. A convergncia dita quadrtica quando existe
uma constante M > 0, tal que
||xk+1 x||
M.
||xk x||2

(2.3)

importante observar que apenas a condio (2.3) no implica que xk x.

Note que:
zk =

1
converge quadraticamente para 0, pois,
22k
1

2 2
||z ||
0
22k+1 = 2
=

k = 2 = 1.
2
k
22
||z ||
2
1
k
2
2
k+1

As demais no convergem quadraticamente.

Por exemplo, note que wk =

1
no converge quadraticamente, pois,
2k2
2

(2k )2
||wk+1 ||
2k
22k
=
.
=
=
2
2
||wk ||2
22k+1
2(k+1)
2k +2k+1
Logo no existe M > 0, tal que

||wk+1 ||
M.
||wk ||2

11

MTODO DE CAUCHY

Vamos agora discutir um dos mtodos para resolver o problema de minimizar

uma funo em IRn . Algumas referncias para este assunto so (MOTA, 2005; RIBEIRO;
KARAS,

2010).

3.1

Algoritmo de Cauchy
Um dos mtodos mais conhecidos para minimizar uma funo o mtodo cls-

sico do gradiente, tambm chamado mtodo de Cauchy. Neste mtodo, a direo de

busca em cada iterao o oposto do vetor gradiente da funo objetivo no ponto corrente. A justificativa desta escolha se baseia no fato de que, dentre as direes ao longo
das quais f decresce, a direo oposta ao gradiente a de decrescimento mais acentuado. De fato, se d = f (x) e v IRn tal que ||v|| = ||d||, ento calculando a
derivada direcional de f em x na direo do vetor d, temos
f (x)
= f (x)T d = ||f (x)||2 = ||f (x)||||f (x)||
d
Usando que || f (x)|| = ||f (x)|| e a desigualdade Cauchy-Schwarz, temos:
||f (x)||||f (x)|| = ||f (x)||||v|| f (x)T v =
Portanto,

f (x)
.
v

f (x)
f (x)

.
d
v
Conclumos que a direo oposta ao gradiente a de maior decrescimento da funo.

12

3.2

Algoritmo
O Algoritmo de Cauchy faz uso da busca exata, que consiste em encontrar o

minimizador da funo a partir de um ponto x e uma direo d.

Algoritmo 3.1 Algoritmo de Cauchy
Dado: x0 IRn
k=0
REPITA enquanto f (xk ) 6= 0
Defina dk = f (xk )
Obtenha tk > 0 tal que f (xk + tk dk ) < f (xk )
Faa xk+1 = xk + tk dk
k =k+1

A Figura 3 mostra 4 iteraes do Algoritmo de Cauchy com a busca exata

aplicado para minimizar uma funo quadrtica, onde as curvas de nveis desta funo
so elipses.

Figura 3: Passos do Algoritmo de Cauchy

13

A Figura 3 sugere duas propriedades do algoritmo. Uma delas o fato de duas

direes consecutivas serem ortogonais. De fato, definindo (t) = f (xk + tdk ), temos
(dk+1 )T dk = f (xk+1 )T dk = f (xk + tk dk )T dk = 0 (tk ) = 0.
A outra propriedade se refere convergncia, que ser discutida na prxima seo.

3.3

Convergncia Global

Teorema 3.2 O Algoritmo de Cauchy, com o tamanho do passo tk calculado pela busca
exata, globalmente convergente, isto , para qualquer sequncia (xk ) gerada pelo
algoritmo, qualquer ponto de acumulao x estacionrio.
Sejam (xk ) uma sequncia gerada pelo algoritmo e x um ponto de acumulao
IN0

de (xk ), digamos xk x.
Suponha por absurdo que x no seja estacionrio, isto , f (
x) 6= 0.
Assim d = (
x) uma direo de descida o que garante a existncia de t > 0, tal que
< f (
f (
x + td)
x). Considere h : IRn IR dada por h(x) = f (x) f (x tf (x)).
IN0

Como h contnua, pois f diferencivel, temos que h(xk ) h(

x). Chamamos
h(
x) = > 0. Logo temos que: h(xk ) . Assim, para todo k IN0 , suficientemente

grande temos que h(xk ) , como vimos no Exemplo 2.4. Deste modo, como tk foi
2
obtido pela busca exata, podemos concluir que

f (xk+1 ) = f (xk + tk dk ) f (xk + tdk ) f (xk ) .

2
Logo,

(3.1)
2
para todo k IN0 , suficientemente grande. Por outro lado pela continuidade de f , temos
f (xk ) f (xk+1 )

IN0

f (xk ) f (
x). Como a sequncia (f (xk ))kIN montona decrescente pois temos que
f (xk+1 ) < f (xk ), o Teorema 2.12 garante que f (xk ) f (
x), contradizendo (3.1).

14

3.4

Velocidade de Convergncia
Os resultados mais importantes sobre a velocidade de convergncia do algo-

ritmo de Cauchy so revelados quando a funo objetivo quadrtica. Vamos ento

considerar
1
f (x) = xT Ax + bT x + c
2
nn
com A IR
definida positiva, b IRn e c IR. Assim f convexa e tem um nico
minimizador x, que global e satisfaz
f (
x) = A
x + b.
Mostraremos agora que, usando a norma euclidiana, a sequncia gerada pelo
mtodo de Cauchy com busca exata converge linearmente para x, com taxa de conq
vergncia 1 n1 .
Primeiramente note que o passo timo dado por
tk =

(dk )T dk
.
(dk )T Adk

De fato,
d
f (xk + tdk ) = f (xk + tdk )dk
dt
= [A(xk + tdk ) + b]T dk
= [Axk + b + Atdk ]T dk
= [f (xk ) + tAdk ]T dk
= f (xk )T dk + t(dk )T Adk
Como tk o passo timo temos: f (xk )T dk + t(dk )T Adk = 0.

Ento, tk =

(dk )T dk
f (xk )dk
=
.
(dk )T Adk
(dk )T Adk

15

No que segue, para facilitar a notao, sem perda de generalidade, vamos supor
que x = 0 e f (
x) = 0, isto ,
1
f (x) = xT Ax.
2
Lema 3.3 Dado x IRn , x 6= 0, considere d = Ax. Ento,
dT d
xT Ax

.
dT Ad
xT A2 x
Demonstrao. Temos xT Ax = dT A1 d e xT A2 x = dT d.
De fato,
dT A1 d = (Ax)T A1 (Ax) = (xT )AT A1 (Ax) = xT Ax;
dT d = (Ax)T (Ax) = (xT )AT (Ax) = xT A2 x.
Portanto,
(dT d)2
dT d xT A2 x
=
dT Ad xT Ax
(dT Ad)(dT A1 d)

(3.2)

Como A > 0, pela decomposio de Choleski, existe G IRnn tal que A = GGT .
Fazendo u = GT d e v = G1 d, temos que:
uT v = (GT d)T (G1 d) = dT GG1 d = dT d;
uT u = (GT d)T (GT d) = dT GGT d = dT Ad;
v T v = (G1 d)T (G1 d) = dT (G1 )T G1 d = dT A1 d.
Pela desigualdade de Cauchy-Schwarz, temos
(dT d)2
(uT v)2
| hu, vi |2
| hu, vi |2
=
=
=
1.
(dT Ad)(dT A1 d)
(uT u)(v T v)
hu, ui hv, vi
||u||2 ||v||2
Podemos concluir da equao (3.2) que:
d T d xT A 2 x
1,
dT Ad xT Ax
completando a prova.

(3.3)

16

Antes de enunciarmos o Teorema da Velocidade de Convergncia do Algoritmo

de Cauchy, vamos apresentar um resultado importante de matrizes simtricas, cuja demonstrao pode ser encontrada em (LEON, 1999).
Lema 3.4 Se A IRnn uma matriz simtrica com 1 e n sendo o menor e o maior
autovalor, respectivamente, ento
1 ||x||2 xT Ax n ||x||2 ,
para todo x IRn .
Teorema 3.5 Considere a funo quadrtica
1
f (x) = xT Ax
2
r
1
e a sequncia (x ) gerada pelo Algoritmo 3.1, com busca exata. Se = 1 ,
n
ento ||xk+1 || ||xk ||, para todo k IN.
k

Demonstrao. Como dk = f (xk ) = Axk , temos:

||xk+1 ||2 = (xk + tk dk )T (xk + tk dk )
= (xk )T xk + (xk )T tk dk + (dk )T tk xk + (dk )T t2k dk
= ||xk ||2 + 2tk (xk )T dk + (tk )2 (dk )T dk
= ||xk ||2 + 2tk (xk )T (Axk ) + (tk )2 (Axk )T (Axk )
= ||xk ||2 2tk (xk )T Axk + (tk )2 (xk )T A2 xk
Pelo Lema 3.3 temos que:
(dk )T dk k T 2 k
(x ) A x (xk )T Axk .
k
T
k
(d ) Ad

17

Como tk =

(dk )T dk
> 0, temos
(dk )T Adk
(tk )2 (xk )T A2 xk = tk

(dk )T dk k T 2 k
(x ) A x tk (xk )T Axk .
(dk )T Adk

Assim,
||xk+1 ||2 = ||xk ||2 2tk (xk )T Axk + (tk )2 (xk )T A2 xk ||xk ||2 tk (xk )T Axk .

Caso xk = 0 no h nada a fazer. Suponha ento que xk 6= 0. Da relao

anterior obtemos
||xk+1 ||2
||xk ||2 tk (xk )T Axk
tk (xk )T Axk
(dk )T dk (xk )T Axk

=
1

=
1

.(3.4)
||xk ||2
||xk ||2
||xk ||2
(dk )T Adk (xk )T xk
Pelo Lema 3.4 temos
(dk )T dk
1

k
T
k
(d ) Ad
n

(xk )T Axk
1 .
(xk )T xk

Substituindo isto em (3.4), segue que

||xk+1 ||
||xk ||

2
1

1
.
n

De acordo com a Definio 2.14, conclumos que a velocidade

r de convergncia
1
da sequncia gerada pelo Algoritmo de Cauchy linear, com taxa 1 .
n

18

O Teorema 3.5 tem uma interpretao geomtrica interessante. As curvas de

nvel de f so elipsides cuja excentricidade depende da diferena entre o maior e o
menor autovalor de A. Se 1 n ento as curvas de nvel so quase esferas e a
convergncia ocorre de forma mais veloz. Entretanto, se 1 << n os elipsides ficam
muito excntricos e a convergncia se d de forma lenta. Veja ilustrao na Figura 4.

Figura 4: Passos do Algoritmo de Cauchy

19

MTODO DE NEWTON

O mtodo de Newton uma das ferramentas mais importantes em otimizao.

Tanto o algoritmo bsico quanto suas variantes so muito utilizados para minimizao.
Neste trabalho estudaremos o Mtodo de Newton puro. Para isso utilizaremos as
seguintes referncias (FRIEDLANDER, ; IZMAILOV; SOLODOV, 2007; RIBEIRO; KARAS,
2010).

4.1

Mtodo de Newton para Resoluo de Equaes

Considere F : IRn IRn de classe C 1 e o problema de resolver o sistema

(normalmente no linear)
F (x) = 0.
Como na maioria das vezes no conseguimos resolv-lo de forma direta, os processos iterativos constituem a forma mais eficiente de lidar com tais situaes. A idia
aproximar F por seu polinmio de Taylor de primeira ordem. Dada uma estimativa x,
considere o sistema linear
F (
x) + JF (
x)(x x) = 0,

(4.1)

onde JF representa a matriz jacobiana de F . Caso JF (

x) seja inversvel, o sistema (4.1)
pode ser resolvido, fornecendo
x = x (JF (
x))1 F (
x).

20

Isto corresponde a uma iterao do mtodo de Newton para resoluo de equaes (veja
a Figura 5).

Figura 5: Uma iterao do Mtodo de Newton para equaes

4.2

Mtodo de Newton para Otimizao Irrestrita

Agora consideremos o problema de minimizao irrestrita
minf (x)

e x IRn

(4.2)

onde f : IRn IR uma funo de classe C 2 . Os pontos estacionrios deste problema

so caracterizados pela equao f (x) = 0. Vamos ento aplicar a relao (4.1) para
F : IRn IRn dada por
F (x) = f (x).
Seja xk IRn uma aproximao de um ponto estacionrio x do problema
(4.2). A aproximao seguinte xk+1 computada como soluo do sistema de equaes
lineares
f (xk ) + 2 f (xk )(x xk ) = 0

(4.3)

em relao a x IRn . Supondo que 2 f (xk ) seja no-singular para todo k, obtemos o
esquema iterativo seguinte:

xk+1 = xk (2 f (xk ))1 f (xk ),

k = 0, 1, ...

(4.4)

21

4.3

Algoritmo
Com base na relao (4.4) podemos agora formalizar o mtodo de Newton para

minimizar a funo f . Basicamente, temos trs variantes do algoritmo. Uma delas o

mtodo puro, onde no fazemos busca unidirecional e aceitamos o passo completo
(tk = 1 para todo k IN). As outras duas fazem uso de busca (exata ou Armijo), que
podem ser encontradas em (RIBEIRO; KARAS, 2010).
Algoritmo 4.1 Newton
Dado: x0 IRn
k=0
REPITA enquanto f (xk ) 6= 0
Defina dk = (f (xk ))1 f (xk )
Determine o tamanho do passo tk > 0
Faa xk+1 = xk + tk dk
k =k+1
O Algoritmo de Newton pode no estar bem definido, caso a matriz Hessiana
2 f (xk ) seja singular. Alm disso mesmo que o passo dk seja calculado, esta direo
pode no ser de descida. Entretanto, se 2 f (xk ) definida positiva, ento o passo dk
est bem definido e uma direo de descida.
O passo de Newton tambm pode ser obtido por uma abordagem diferente da
que foi exposta acima. Para isso considere a aproximao de Taylor de segunda ordem
de f , dada por
1
p(x) = f (xk ) + f (xk )T (x xk ) + (x xk )T 2 f (xk )(x xk )
2
Com o objetivo de minimizar p, fazemos
f (xk ) + 2 f (xk )(x xk ) = p(x) = 0,

22

obtendo exatamente o passo dk do Algoritmo de Newton. (Veja a Figura 6).

Esta ltima abordagem sugere que se o Mtodo de Newton for aplicado em
uma funo quadrtica, ento basta uma iterao para resolver o problema. De fato,
1
considere a quadrtica f (x) = xT Ax + bT x + c. Dado x0 IRn , obtemos:
2
d0 = (2 f (x0 ))1 f (x0 ) = A1 (Ax0 + b) = x0 A1 b.
Portanto, o minimizador x obtido em um s passo, pois
x1 = x0 + d0 = A1 b = x.

Figura 6: Uma iterao do Mtodo de Newton

4.4

Convergncia
A direo de Newton pode no ser de descida, assim, no garantimos con-

vergncia global quando o problema a ser resolvido envolver uma funo arbitrria. No
entanto, para uma classe de funes convexas, podemos tirar concluses positivas.

23

Lema 4.2 Suponha que 2 f (

x) > 0. Ento existem constantes > 0 e M > 0 tais
que
2 f (x) > 0 e ||(2 f (x))1 || M ,
para todo x B(
x, ).
Demonstrao. Seja > 0 o menor autovalor de 2 f (
x). Pela continuidade de 2 f ,

dado = existe > 0 tal que

2
||2 f (x) 2 f (
x)||

,
2

(4.5)

para todo x B(
x, ). Assim, dado d IRn , com ||d|| = 1, temos que
dT 2 f (x)d = dT 2 f (
x)d + dT [2 f (x) 2 f (
x)]d

(4.6)

Note que, usando o Lema 3.4 temos que dT 2 f (x)d . Usando a desigualdade de
Cauchy-Schwarz temos que,
dT [2 f (x) 2 f (
x)]d ||d||||2 f (x) 2 f (
x)||||d||

.
2

Assim, da relao (4.6) conclumos que

dT 2 f (x)d

= ,
2
2

provando que 2 f (x) definida positiva para todo x B(

x, ). Para provar a outra
afirmao, considere x B(
x, ). Vamos denotar A = 2 f (
x) e B = 2 f (x). Usando
novamente o Lema 3.4, agora aplicado em A2 , obtemos
||Ad||2 = hAd, Adi = (Ad)T Ad = dT At Ad = dT A2 d 2 dT d = 2 ||d||2
para todo d IRn . Portanto, usando a relao (4.5), conclumos que

||Bd|| = ||Ad + (B A)d|| ||Ad|| ||(B A)d|| ||d|| ||d|| = ||d||.

2
2

24

Considere agora y IRn , com ||y|| = 1. Aplicando a relao acima para d = B 1 y,

conclumos que
1 = ||y|| = ||BB 1 y||
Mas

1
||B y||.
2



 1 x  2
||B 1 x||


 .
||B || = sup
= sup B
||x||
||x|| 
x6=0
x6=0
1

Pela desigualdade acima, definindo M =

2
, segue que

||(2 f (x))1 || = ||B 1 || M,

completando a demonstrao.
Lema 4.3 Sejam U IRn aberto convexo e = sup ||2 f (x) 2 f (y)||. Ento
x,yU

||f (x) f (y) 2 f (y)(x y)|| ||x y||,

para todo x, y U .
Demonstrao. Fixando y U , considere h(x) = f (x) 2 f (y)x. Assim,
||Jh (x)|| = ||2 f (x) 2 f (y)||
para todo x U . Usando a Desigualdade do Valor Mdio, obtemos
||f (x) f (y) 2 f (y)(x y)|| = ||h(x) h(y)|| ||x y||,
completando a demonstrao.

Lema 4.4 Sejam U IRn aberto e convexo. Se 2 f Lipschitz com constante L, ento
||f (x) f (y) 2 f (y)(x y)|| L||x y||2 ,
para todo x, y U .

25

Demonstrao. Fixados x, y U , defina = L||x y|| e h : IRn IRn dada por

h(z) = f (z) 2 f (y)z. Assim, para todo z [x, y], como 2 f Lipschitz temos
||Jh (z)|| = ||2 f (z) 2 f (y)|| L||z y|| L||x y|| = .
Usando a Desigualdade do Valor Mdio, obtemos
||f (x) f (y) 2 f (y)(x y)|| = ||h(x) h(y)|| ||x y|| = L||x y||2 ,
completando a demonstrao.
Teorema 4.5 Seja f : IRn IR de classe C 2 . Suponha que x IRn seja um minimizador local de f ,com 2 f (
x) definida positiva. Ento existe > 0 tal que se
x0 B(
x, ), o Algoritmo de Newton, aplicado com tk = 1 para todo k IN, gera uma
sequncia (xk ) tal que:
(i) 2 f (xk ) definida positiva, para todo k IN;
(ii) (xk ) converge superlinearmente para x;
(iii) Se 2 f Lipschitz, ento a convergncia quadrtica.
Demonstrao. Sejam 1 e M as constantes definidas no Lema 4.2 e U1 = B(
x, 1 ).
Assim, se xk U1 , o passo de Newton est bem definido e, como f (
x) = 0, vale
xk+1 x = (2 f (xk ))1 (f (
x) f (xk ) 2 f (xk )(
x xk )).
Pela continuidade de 2 f , para =

1
, existe 2 > 0 tal que
4M

||2 f (x) 2 f (x)||

1
,
4M

||2 f (y) 2 f (x)||

1
,
4M

para todo x B(x, 2 ).

Se y B(x, 2 ), vale

(4.7)

26

Ento
||2 f (x) 2 f (y)|| = ||2 f (x) 2 f (x) + 2 f (x) 2 f (y)||
||2 f (x) 2 f (x)|| + ||2 f (y) + 2 f (x)||
1
1
1
+
=

4M
4M
2M
Portanto sup ||2 f (x) 2 f (y)|| <
x,yU

1
, onde U = B(x, ) e = min{1 , 2 }.
2M

Pelos Lemas 4.2 e 4.3, conclumos que

||xk+1 x|| ||(2 f (xk ))1 ||||f (
x)f (xk )2 f (xk )(
x xk )|| M ||xk x||.
Portanto
1
||xk+1 x|| ||xk x||.
2
Isto prova que a sequncia (xk ) est bem definida, que xk U , para todo k IN e
que xk x, donde segue (i). Vejamos que a convergncia superlinear. Dado > 0,

, onde U0 = B(
x, 0 ). Tome
considere 0 < tal que sup ||2 f (x) 2 f (y)|| <
M
x,yU
k0 IN tal que xk U0 , para todo k k0 . Aplicando novamente os Lemas 4.2 e 4.3 na
relao (4.7), obtemos
||xk+1 x|| ||xk x||,
provando assim (ii).
Finalmente, se 2 f Lipschitz, podemos usar os Lemas 4.2 e 4.4 em (4.7)
para obter
||xk+1 x|| M L||xk x||2 ,
completando a demonstrao.

27

MTODO DA SEO UREA

Neste captulo apresentamos a anlise do Algoritmo da Seo urea e da sua

velocidade de convergncia. A referncia (NOCEDAL; WRIGHT, 1999; RIBEIRO; KARAS,
2010) sero utilizadas para este estudo.

5.1

Busca Unidimensional

Dada f : IRn IR, e um ponto x IRn e uma direo de descida d IRn ,

queremos encontrar t > 0 tal que
f (
x + td) < f (
x).

Figura 7: Busca unidimensional exata

28

Mais precisamente, temos que resolver o problema

minimizar (t) = f (
x + td)
sujeito a t > 0.
Este problema , em geral, difcil de se resolver de forma exata. Entretanto,
para certas funes especiais, existem algoritmos para resolv-lo. Por isto, vamos
agora definir funo unimodal, para a qual existem algoritmos para minimiz-la. Em
seguida veremos o algoritmo da seo urea, que encontra um ponto prximo de um
minimizador com a preciso que se queira. (Conforme ilustrado na Figura 7).

5.2

Mtodo da Seo urea - Busca exata

Ao aplicarmos o Mtodo da Seo urea em funes unimodais obtemos re-

sultados satisfatrios, por isso definiremos a seguir este tipo de funo.

Definio 5.1 Uma funo contnua : [0, ) IR dita unimodal quando admite
um conjunto de minimizadores [t1 , t2 ], estritamente decrescente em [0, t1 ] e estritamente crescente em [t2 , ).
Veja os exemplos de funes unimodais a seguir e note que o intervalo de
minimizadores [t1 , t2 ] pode ser degenerado, como ilustrado no segundo grfico.

x1

x2

x1=x2

Figura 8: Funes Unimodais

29

Para facilitar a descrio do algoritmo, vamos considerar a Figura 9.

Figura 9: Seo urea

Descrio do Algoritmo
Suponha que o minimizador de pertence ao intervalo [a, b]
i) Considere a < u < v < b em [0, )
ii) Se (u) < (v) ento o trecho (v, b] no pode conter o minimizador e pode ser
descartado.
iii) Se (u) (v) ento o trecho [a, u) pode ser descartado.
iv) Particione o intervalo que ficou e repita o processo.

Agora vamos analisar como o intervalo [a, b] deve ser particionado. A obteno
deste intervalo, que deve conter um minimizador de ser tratada adiante. A estratgia
mais natural dividir o intervalo em trs partes iguais, ou seja, definir
1
u = a + (b a)
3

2
e v = a + (b a).
3

1
do intervalo a cada iterao, conforme ilustrado na
3
Figura 10. Alm disso, se o intervalo descartado for o (v, b], temos como novo intervalo
Desta forma descartamos

[a+ , b+ ], onde a+ = a e b+ = v, mas no podemos utilizar o antigo ponto u, calculado

30

na iterao anterior, o que uma desvantagem.

a+

u+

v+

b+

Figura 10: Intervalo dividido em trs partes iguais

Uma outra estratgia escolher u e v que dividem o segmento [a, b] na razo
urea, de acordo com a definio dada seguir.
Definio 5.2 Um ponto c divide o segmento [a, b] na razo urea quando a razo entre
o maior segmento e o segmento todo igual razo entre o menor
e o maior dos

51
0.618.
segmentos. Tal razo conhecida como o nmero de ouro e vale
2
Desta forma, temos que u e v devem satisfazer
bu
ua
=
ba
bu

va
bv
=
ba
va

(5.1)

Considerando 1 e 2 tais que

u = a + 1 (b a)

v = a + 2 (b a)

(5.2)

Substituindo u em (5.1) temos:

b (a + 1 (b a))
a + 1 (b a) a
=
ba
b (a + 1 (b a))
(b a)(1 1 )
1 (b a)
=
ba
(1 1 )(b a)
Desta forma, obtemos:
1 1 =

1
1 1

(5.3)

31

Analogamente se substituirmos v em (5.1) obtemos:

1 2
(5.4)
2

3 5
51
Como u, v [a, b], encontramos 1 =
0, 382 e 2 =
0, 618. Das
2
2
relaes (5.3) e (5.4) temos:
2 =

(1 1 )2 = 1

(5.5)

(2 )2 = 1 2

(5.6)

E, ainda

Se = 1 1 . Da relao (5.5), 2 = 1 . Ento por (5.6), temos que = 2 . Assim

apresentamos outras duas relaes importantes:
(2 )2 = 1

e 1 + 2 = 1

(5.7)

Uma das vantagens da diviso na razo urea em relao diviso em trs

partes iguais que descartamos mais de 38% do intervalo ao invs de 33, 33%. Outra
vantagem, que podemos aproveitar o ponto u ou v aps termos descartado o intevalo
[v, b] ou [a, u] na iterao anterior. Indicamos por [a+ , b+ ] o novo intervalo que ser
particionado pelos ponto u+ e v + . Conforme veremos no prximo resultado, o ponto v
aproveitado na prxima etapa e passa a ser u+ quando descartamos [a, u). Assim, o
valor da funo (v) aproveitado para a prxima etapa.

32

Lema 5.3 Na seo urea, se [a, u) descartado ento u+ = v.

Demonstrao. Como [a, u] foi descartado ento a+ = u e b+ = b. Logo, temos que:
u+ = a+ + 1 (b+ a+ )
= u + 1 (b u)
= a + 1 (b a) + 1 (b (a + 1 (b a)))
= a + (21 (1 )2 )(b a)
Note que, da relao (5.7), temos (1 )2 = 31 1. Ento,
u+ = a + (21 31 + 1)(b a)
= a + (1 1 )(b a)
= a + 2 (b a) = v

A Figura 11 ilustra o Lema 5.3.

a

a+

u+

v+

b+

Figura 11: Partio do intervalo [a, b]

33

Lema 5.4 Na seo urea, se (v, b] descartado ento v + = u.

Demonstrao. Como (v, b] descartado ento a+ = a e b+ = v. Usando (5.2) e a
relao (5.6) obtemos:
v + = a+ + 2 (b+ a+ ) = a + 2 (v a)
= a + 2 (a + 2 (b a) a)
= a + 2 2 (b a)
= a + 1 (b a) = u

A Figura 12 a ilustra o Lema 5.4.

a

a+

u+

v+

b+

Figura 12: Partio do intervalo [a, b]

Apresentamos agora o algoritmo da seo urea, que tem duas fases. Na

primeira, obtemos um intervalo [a, b] que contm um minimizador de . A idia desta
etapa considerar um intervalo inicial [0, 2], com > 0, e ampli-lo, deslocando para
a direita, at que um crescimento de seja detectado.
Na segunda fase, o intervalo [a, b] reduzido, por meio do descarte de subintervalos, at que reste um intervalo de tamanho suficiente para que uma preciso seja
alcanada.

34

5.3

Algoritmo

Algoritmo 5.5 Seo urea

Dados > 0; > 0
Fase 1: Obteno do intervalo [a, b]
a0 = 0, s0 = e b0 = 2
k=0
REPITA enquanto (bk ) < (sk )
ak+1 = sk , sk+1 = bk e bk+1 = 2bk
k =k+1
a = ak e b = b k
Fase 2: Obteno de t [a, b]
a0 = a, b0 = b
u0 = a0 + 1 (b0 a0 ), v0 = a0 + 2 (b0 a0 )
k=0
REPITA enquanto bk ak >
SE (uk ) < (vk )
ak+1 = ak , bk+1 = vk , uk+1 = ak+1 + 1 (bk+1 ak+1 )
SENO
ak+1 = uk , bk+1 = bk , uk+1 = ak+1 + 2 (bk+1 ak+1 )
k =k+1
uk + vk
Defina t =
2
Mas o algoritmo realmente funciona? Na primeira fase, aps um nmero finito
de etapas possvel encontrar um intervalo [a, b] que contm pelo menos um minimizador? Este um resultado que ser demonstrado no teorema a seguir.

35

Teorema 5.6 O Algoritmo da Seo urea, na primeira fase, encontra um intervalo

[a, b] que contm pelo menos um minimizador da funo em um nmero finito de iteraes.
Demonstrao. Vejamos inicialmente que o loop da primeira fase finito.
Suponha por absurdo que (bk ) < (sk ), para todo k IN. Ento sk , pois
sk+1 = bk = 2bk1 = 2sk . Assim, existe k IN tal que sk t1 . Como unimodal,
ela no decrescente em [t1 , ). Logo (bk ) (sk ), uma contradio. Portanto, a
Fase 1 do algoritmo termina em um certo k IN. Resta ver que o intervalo obtido de
fato contm um minimizador de . Temos dois casos a considerar.
(i) Caso sk < t1 , temos bk > t2 , pois do contrrio teramos (bk ) < (sk ).
Veja o primeiro grfico na Figura 13. Assim,
[t1 , t2 ] [sk , bk ] [ak , bk ].
(ii) Caso sk t1 , afirmamos que ak < t1 (veja o segundo grfico na Figura
13). De fato, note que
(
ak =

0, se k = 0

sk1 , caso contrrio

Se fosse sk1 t1 , teramos (bk1 ) (sk1 ) e a Fase 1 teria terminado na iterao
k 1 ao invs da iterao k. Temos ento ak < t1 sk < bk , o que implica que
t1 [ak , bk ].

36

Figura 13: Anlise da primeira etapa do algoritmo

A seguir enuciaremos o teorema que analisa se na segunda fase do algoritmo
ao descartar um dos intervalos aquele que sobrou contm um minimizador.
Teorema 5.7 Seja uma funo unimodal.
(i) Se (v) (u) e o intervalo [a, u) descartado, ento o intervalo que sobrou
[u, b] contm pelo menos um minimizador.
(ii) Se (v) > (u) e o intervalo (v, b] descartado, ento o intervalo que sobrou
[a, v] contm pelo menos um minimizador.
Demonstrao. Considere [t1 , t2 ] o intervalo de minimizadores da Definio 5.1.
(i) Suponha por absurdo que no existe minimizador em (u, b], portanto, existe
um mnimo t [a, u). Note que t2 < u pois do contrrio teramos t2 > b e assim
[u, b] [t, t2 ] [t1 , t2 ], o que uma contradio, pois estamos supondo que no existe
minimizador em (u, b]. Veja ilustrao na Figura 14. Como unimodal, ou seja,
estritamente crescente em [t2 , ), temos que t2 < u < v, implica em (u) < (v), o
que contradiz a hiptese.

37

(ii) Suponha por absurdo que no exista minimizador no intervalo [a, v], portanto existe um mnimo t (v, b]. Note que t1 > v pois do contrrio teramos t1 < a e
assim [a, v] [t1 , t ] [t1 , t2 ], o que uma contradio, pois estamos supondo que no
existe minimizador em [a, v]. Como unimodal, ou seja, estritamente decrescente
em [0, t1 ], temos que u < v < t1 , implica em (u) > (v), o que contradiz a hiptese.

Figura 14: Anlise do item (i) do teorema 5.7

5.4

Convergncia do Mtodo da Seo urea

Antes de analisarmos a convergncia do mtodo, iremos enunciar um teorema

auxiliar que prova a convergncia do tamanho do intervalo [ak , bk ] obtido na primeira

etapa que contm o minimizador da funo.
Teorema 5.8 Seja [ak , bk ] o intervalo obtido pelo algoritmo da seo urea, ento
bk ak 0.
Demonstrao. Seja rk o tamanho do intervalo [ak , bk ], ou seja, rk = bk ak . Como
o Mtodo da
Seo urea descarta mais de 38% do intervalo [a0 , b0 ], ou seja, descarta
3 5
1 =
0.382, temos que b1 a1 = r1 = r0 1 r0 = r0 2 . Repetindo o
2
processo com o intervalo de cada iterao, temos:
b2 a2 = r2 = r0 2 1 (r0 2 ) = r0 2 (1 1 ) = r0 (2 )2

bk ak = r0 (2 )k

38

Como r0 > 0 uma constante e 2 (0, 1),

lim r0 (2 )k = r0 lim (2 )k = 0.

Conclumos, assim que bk ak 0.

E as sequncias (ak ), (uk ), (vk ) e (bk ) convergem? Como as sequncias (ak ) e
(bk ) so montonas, limitadas inferiormentes por a0 e superiormente por b0 , de acordo
com o Teorema 2.9 estas sequncias convergem. O prximo teorema estabelece a convergncia para um minimizador de .
Teorema 5.9 Seja uma funo unimodal conforme a Definio 5.1. Ento as sequncias (ak ), (uk ), (vk ) e (bk ) convergem para um minimizador de em [t1 , t2 ].
Demonstrao. Como (ak ) no decrescente e limitada temos ak a. Alm disso, (bk )
no crescente e limitada. Ento bk b. Sabemos pelo Teorema 5.8 que ak bk 0,
mas ak bk a b. Logo, a = b = t.
Como ak uk v k bk , o teorema do confronto garante que
uk t e v k t.
Devemos agora provar que t um minimizador de . Seja rk um minimizador de
em [ak , bk ]. Ento, pelo Teorema do Confronto temos que rk t. Como (rk ) uma
sequncia de minimizadores da funo que pertencem ao conjunto [t1 , t2 ] e ainda,
rk t, temos que t ponto de acumulao de [t1 , t2 ]. Mas [t1 , t2 ] fechado, logo
t [t1 , t2 ].
Agora vejamos um caso particular de funo unimodal. Considere que a funo
seja quadrtica, ou seja, tenha apenas um minimizador t , assim t1 = t2 = t. Como
sugere a Figura 15, provaremos que o minimizador da funo objetivo pertence a todo
intervalo [ak , bk ].

39

Figura 15: Todos os intervalos [ak , bk ] contm o minimizador da funo quadrtica.

Teorema 5.10 Seja t o minimizador da funo quadrtica, ento t [ak , bk ], para
todo k.
Demonstrao. Suponha que na primeira iterao do Mtodo da Seo urea, [a0 , u0 )
foi descartado. (O outro caso anlogo) Pelo lema 5.3 temos que a1 = u0 e b1 = b0 .
Assim, t [a1 , b1 ] [a0 , b0 ]. Aplicando o algoritmo sucessivamente, temos que
t [an , bn ] [an1 , bn1 ] [a0 , b0 ].
Assim temos que t [ak , bk ] para todo k IN.
Teorema 5.11 Seja (tk ) a sequncia definida por tk =
minimizador da funo quadrtica. Ento tk t .

uk + vk
ak + b k
=
e t o
2
2

Demonstrao. De acordo com o Teorema 5.10 temos que bk ak 0. E pelo Teorema

5.10 temos que t [ak , bk ], para todo k. Como (tk ) [ak , bk ], conclumos que tk
converge para o minimizador t .

40

5.5

Velocidade de Convergncia
Provaremos que a velocidade de convergncia da sequncia bk linear com

taxa de convergncia igual ao nmero de ouro. Suponha que o intervalo (vk , bk ] foi
descartado. Assim temos que ak+1 = ak , vk+1 = uk e bk+1 = vk .
Teorema 5.12 As sequncias (ak ) e (bk ) geradas pelo Algoritmo da Seo urea tem
convergncia linear e a taxa de convergncia 2 , ou seja, ||bk+1 t|| 2 ||bk t||
para todo k IN.
Demonstrao. Para simplificar a notao vamos suprimir o indice k. Considere a
vk t
funo g : [a, v] IR, onde g(t) =
, temos que:
bk t
(1)(b t) (a + 2 (b a) t)(1)
(b t)2
b + t + a + 2 (b a) t
=
(b t)2
(b a)(1 + 2 )
=
(b t)2
1 (b a)
=
<0
(b t)2

g 0 (t) =

para todo t [a, v]. Como g 0 negativa, ento g decrescente.

Portanto
g(t) g(a) =

va
a + 2 (b a) a
=
= 2 ,
ba
ba

para todo t [a, v].

Em particular para t [a, v], temos que:
||bk+1 t||
vk t
=
= g(t) 2
bk t
||bk t||
Portanto a sequncia (bk ) gerada pelo algoritmo tem convergncia linear e a taxa de
convergncia o nmero de ouro. O outro caso anlogo.

41

CONCLUSO

Neste trabalho, utilizamos alguns conceitos de Anlise para introduzir o estudo

de velocidade de convergncia das sequncias geradas pelos algoritmos clssicos de
otimizao irrestrita. Concentramos nosso estudo em trs velocidades de convergncia:
linear, superlinear e quadrtica.
Como para fins prticos fundamental que os algoritmos tenham uma convergncia rpida, discutimos alguns mtodos clssicos para otimizao irrestrita. O
mtodo de Cauchy que faz a cada iterao uma busca unidirecional na direo de maior
decrescimento da funo, ou seja, na direo oposta ao gradiente. A sequncia gerada
por este algoritmo tem convergncia global e a velocidade de convergncia linear. Se a
funo objetivo for de classe C 2 e o ponto inicial estiver prximo de um minimizador,
o mtodo de Newton gera uma sequncia que converge superlinearmente. Caso a Hessiana da funo a ser minimizada seja Lipschitz, ento a convergncia do mtodo de
Newton quadrtica. Concluindo assim, que o Algoritmo de Newton encontra o minimizador mais rapidamente que o Algoritmo de Cauchy.
Nos mtodos de busca unidimensional, precisamos minimizar uma funo a
partir de um certo ponto, segundo uma direo dada, que a direo de busca. Este
problema equivalente a minimizar uma funo real de uma varivel, um dos mtodos
que podem ser usados para resolver este problema o Mtodo da Seo urea, que faz
a minimizao exata desta funo. Analisamos as etapas deste algoritmo, ou seja, se
na primeira fase o algoritmo encontra o intervalo com pelo menos um minimizador, o
que de fato ocorre, alm de que ao descartar intervalos em cada iterao do algoritmo, o

42

intervalo que sobrou contm pelo menos um minimizador. Mostramos que o algoritmo
realmente converge para um minimizador. E finalmente, demonstramos que a sequncia (ak ) ou (bk ) gerada pelo algoritmo converge linearmente, com taxa o nmero de
ouro. Realizamos o estudo deste captulo com base nas literaturas j citadas ao longo
do trabalho, mas os resultados demonstrados obtemos com um estudo independente.

43

Referncias

FRIEDLANDER, A. Elementos de Programao No-Linear. [S.l.]: Unicamp.

IZMAILOV, A.; SOLODOV, M. Otimizao: Mtodos Computacionais. Rio de
Janeiro: IMPA, 2007.
LEON, S. J. lgebra Linear com Aplicaes. Rio de Janeiro: [s.n.], 1999.
LIMA, E. L. Curso de Anlise, v 1. Rio de Janeiro, Brasil: IMPA, 1981.
LIMA, E. L. Curso de Anlise, v 2. Rio de Janeiro, Brasil: IMPA, 1981.
MOTA, A. M. Convergncia de Algoritmos para Programao No-linear. Brasil,
2005.
NOCEDAL, J.; WRIGHT, S. J. Numerical Optimization. [S.l.]: Springer-Verlag, 1999.
(Springer Series in Operations Research).
RIBEIRO, A. A.; KARAS, E. W. Um Curso de Otimizao. [S.l.: s.n.], 2010.