Sei sulla pagina 1di 41

Universidade Federal da Bahia

Escola Politécnica - Departamento de Engenharia Elétrica

ENG574 - Otimização

Semestre: 2019.2
Professora: Luciana Martinez
2019.2 ENG574 - Otimização

1 FUNDAMENTOS MATEMÁTICOS

Corpo: Um corpo F é um conjunto de elementos escalares e operações


binárias, adição e multiplicação definidas sobre F tal que:
α, β ∈ F ⇒ α + β ∈ F

α, β ∈ F ⇒ αβ ∈ F
sendo satisfeitas as seguintes propriedades:

DEE-UFBA lucianam@ufba.br 2/41


2019.2 ENG574 - Otimização

Adição:

1. Comutatividade: para todos α, β ∈ F:


α+β =β+α

2. Associatividade: para todos α, β, γ ∈ F:


(α + β) + γ = α + (β + γ)

3. Elemento Neutro: ∃ 0 ∈ F tal que para todo α ∈ F:


α+0=α

4. Existência de Oposto: para todo α ∈ F, ∃ −α ∈ F tal que:


α + (−α) = 0

5. Multiplicação distributiva: α(β + γ) = αβ + αγ

DEE-UFBA lucianam@ufba.br 3/41


2019.2 ENG574 - Otimização

Multiplicação:

1. Comutatividade: para todos α, β ∈ F:


αβ = βα

2. Associatividade: para todos α, β, γ ∈ F:


(α β) γ = α (β γ)

3. Elemento Neutro: ∃ 1 ∈ F tal que para todo α ∈ F:


α1 = α

4. Existência de Oposto: para todo α ∈ F, ∃ α−1 ∈ F tal que:


α α−1 = 1

DEE-UFBA lucianam@ufba.br 4/41


2019.2 ENG574 - Otimização

Espaço linear sobre um corpo: Um espaço linear X sobre um


corpo F consiste de um conjunto de elementos sobre os quais são
definidas duas operações binárias, adição e multiplicação:

Adição:

para todo x, y ∈ X ⇒ (x + y) ∈ X

Multiplicação por escalar:

para todo x ∈ X ⇒ (αx) ∈ X, ∀α ∈ <

DEE-UFBA lucianam@ufba.br 5/41


2019.2 ENG574 - Otimização

Leis axiomáticas: Para todo x, y, z ∈ X e α, β ∈ <:

1. Comutatividade: x+y =y+x


2. Associatividade: (x + y) + z = x + (y + z)

(α β)x = α(β x)

3. Distributiva: α(x + y) = αx + αy
(α + β)x = αx + βx

4. Elemento Neutro: x+0=x


1x = x

5. Elemento Oposto: x0 = 0
x + (−x) = 0

DEE-UFBA lucianam@ufba.br 6/41


2019.2 ENG574 - Otimização

Subespaço linear: Seja S um subconjunto não vazio de um espaço


linear X. Diz-se que S é um subespaço de X se:

∀x, y ∈ S ⇒ (αx + βy) ∈ S para ∀α, β ∈ <

ou seja, S é um subespaço de X se sobre as mesmas operações de


X, S forma um espaço vetorial.

DEE-UFBA lucianam@ufba.br 7/41


2019.2 ENG574 - Otimização

Exercı́cios: Mostrar que se S e T são subespaços de X, então:

T
•S T é subespaço de X;

• S + T é subespaço de X.

DEE-UFBA lucianam@ufba.br 8/41


2019.2 ENG574 - Otimização

Definição: Seja S = {x1, x2, . . . xn} um subconjunto de um


espaço linear X. Combinações lineares de elementos de S são ve-
tores dados por:

n
X
α1x1 + α2x2 + . . . αnxn = αixi com αi reais
i=1

Definição: O conjunto de todas as combinações lineares de S é


chamado subespaço gerado por S, representado por G[S].

Definição: Dizemos que um espaço vetorial V é finitamente gerado


se ∃ S ⊂ V , S finito, de maneira que V = G[S].

DEE-UFBA lucianam@ufba.br 9/41


2019.2 ENG574 - Otimização

Definição: O conjunto de vetores {x1, x2, . . . xn} é Linearmente


n
X
Independente (L.I.) se αixi = 0 implica em α1, α2, . . . αn = 0.
i=1

Definição: O conjunto de vetores {x1, x2, . . . xn} é Linearmente


Dependente (L.D.) se existem α1, α2, . . . αn não todos nulos tais que
Xn
αixi = 0.
i=1

Definição: O número máximo de vetores L.I. em um espaço é


chamado de dimensão do espaço linear.

DEE-UFBA lucianam@ufba.br 10/41


2019.2 ENG574 - Otimização

Base: Um conjunto V de vetores L.I. forma uma base do espaço X


se G(V ) = X.

ou seja,

• Qualquer vetor x ∈ X pode ser representado por uma combinação


linear dos elementos de uma base de X,

• Qualquer base contém o mesmo número de elementos,

• O número de elementos de uma base de X é chamado de di-


mensão de X.

DEE-UFBA lucianam@ufba.br 11/41


2019.2 ENG574 - Otimização

Norma:

Definição: Uma função que associa a cada elementos x ∈ X um


número real, representado por ||x||, será denominada norma de x se
satisfizer os seguintes axiomas:

||x|| ≥ 0 ∀x ∈ X; ||x|| = 0 ⇔ x = 0

||x + y|| ≤ ||x|| + ||y|| ∀x, y ∈ X

||αx|| = |α| ||x|| ∀x ∈ X, ∀α ∈ <

Uma norma define uma métrica para o espaço X. Por exemplo, a


distância entre dois vetores: d = ||x − y||.

DEE-UFBA lucianam@ufba.br 12/41


2019.2 ENG574 - Otimização

Alguns exemplos:


Norma Euclidiana: ||x||2 = xT x

Pn
Norma1: ||x||1 = i=1 |xi |

Norma∞: ||x||∞ = maxi |xi|

DEE-UFBA lucianam@ufba.br 13/41


2019.2 ENG574 - Otimização

Uma forma de se definir norma é através do produto interno:

Definição: Sejam x, y ∈ X ⊂ <n. O produto interno de x por y


é um número real representado por < x, y > que satisfaz as proprie-
dades:
< x, x >≥ 0 ∀x ∈ X; < x, x > = 0 ⇔ x = 0;

< x, y >=< y, x > ∀x, y ∈ X;

< αx1+βx2, y >= α < x1, y > +β < x2, y > ∀ x, y ∈ X, ∀ α, β ∈ <

n
X
No <n : < x, y >= xi y i = xT y
i=1

DEE-UFBA lucianam@ufba.br 14/41


2019.2 ENG574 - Otimização

Proposição (Desigualdade de Cauchy-Schwarz): Se X é


um espaço linear:
| < x, y > | ≤ kxk kyk ∀ x, y ∈ X

Definição: Os vetores x, y ∈ X são ortogonais se < x, y >= 0.

DEE-UFBA lucianam@ufba.br 15/41


2019.2 ENG574 - Otimização

Matrizes:

A toda matriz A ∈ <m×n são associados os seguintes subespaços:

• Imagem de A: Im(A) = {y ∈ <m : y = Ax, x ∈ <n}


• Núcleo (ou espaço nulo) de A: N (A) = {x ∈ <n : Ax = 0}

A partir destes subespaços são definidos os seguintes valores:

• Posto de A = dim(A): número de linhas ou colunas L.I. de A


• Nulidade de A: dim(N (A)) = nul(A)

DEE-UFBA lucianam@ufba.br 16/41


2019.2 ENG574 - Otimização

Seja A matriz m × n, então:


P osto(A) + nul(A) = n

Corolário: Seja a matriz Am×n. O número de elementos L.I. de


Ax = 0 é igual a n − posto(A), onde n é o número de colunas de A
e posto de A é o número de colunas L.I. de A.

Posto Completo: Diz-se que a matriz Am×n tem posto completo


se posto(A) = min{m, n}. Pode-se demonstrar que A tem posto
completo se e somente se todas as linhas ou colunas de A são L.I.

Pode-se mostrar ainda que:


Im(AT ) é ortogonal ao N (A)

DEE-UFBA lucianam@ufba.br 17/41


2019.2 ENG574 - Otimização

Matrizes Quadradas

Uma matriz Am×n é quadrada se m = n.

Matriz Identidade:

ai j = 1 se i = j
I = [ai j ] =
ai j = 0 se i 6= j

Matriz Inversa: A−1 tal que: AA−1 = I


−1
A−1 = A; (AB)−1 = B −1A−1

• Se A não possui inversa então é dita singular ou não inversı́vel


• A é dita não singular se possue todas as colunas L.I.

DEE-UFBA lucianam@ufba.br 18/41


2019.2 ENG574 - Otimização

Matriz Transposta: dado A = [ai j ], tem-se AT = [aj i].

E ainda: (AB)T = B T AT

Matriz Simétrica: A = AT

Matriz Anti-Simétrica: A = −AT

Matriz Ortogonal: A−1 = −AT

DEE-UFBA lucianam@ufba.br 19/41


2019.2 ENG574 - Otimização

Matriz Diagonal: D = [di j ] em que di j = 0 se i 6= j.

Matriz Triangular Superior:


U = [ui j ] em que ui j = 0 se i > j.

Matriz Triangular Inferior:


L = [li j ] em que li j = 0 se i < j.

DEE-UFBA lucianam@ufba.br 20/41


2019.2 ENG574 - Otimização

Autovalores e Autovetores: Seja matriz Am×n, com m = n.

Definição: Um escalar λ ∈ C é um autovalor de A se ∃ um vetor


x ∈ C n não nulo tal que:
Ax = λx

Definição: Qualquer vetor x ∈ C n não-nulo que satifaz


(A − λI)x = 0
é chamado de autovetor de A associado ao autovalor λ.
Desta forma, tem-se que um sistema de n equações lineares com n
6 0) se (A − λI) for
incognitas apresenta solução não trivial (x =
singular, ou seja:
∆(λ) = det(A − λI) = 0
sendo ∆(λ) o Polinômio Caracterı́stico de A.

DEE-UFBA lucianam@ufba.br 21/41


2019.2 ENG574 - Otimização

Os autovalores e autovetores de uma matriz A simétrica possuem


algumas propriedades importantes:

• Os autovetores de uma matriz simétrica são ortogonais entre si.

• Se os autovetores xi da matriz simétrica A são normalizados de


modo a se ter ||xi||2 = 1, i = 1, . . . , n então:

n
X T
A= λixixi
i=1

DEE-UFBA lucianam@ufba.br 22/41


2019.2 ENG574 - Otimização

Formas Quadráticas - Matrizes Simétricas

Uma matriz simétrica An×n é dita:

• A é definida positiva se xT Ax > 0, ∀x 6= 0

• A é definida semi-positiva se xT Ax ≥ 0, ∀x 6= 0

• A é definida negativa se xT Ax < 0, ∀x 6= 0

• A é definida semi-negativa se xT Ax ≤ 0, ∀x 6= 0

DEE-UFBA lucianam@ufba.br 23/41


2019.2 ENG574 - Otimização

Pode-se mostrar que:

• Uma matriz simétrica é definida positiva ⇔ seus autovalores são


positivos.

• Uma matriz simétrica é semi-definida positiva ⇔ seus autovalores


são positivos ou nulos.

• Uma matriz simétrica é definida negativa ⇔ seus autovalores são


negativos.

• Uma matriz simétrica é semi-definida negativa ⇔ seus autovalores


são negativos ou nulos.

DEE-UFBA lucianam@ufba.br 24/41


2019.2 ENG574 - Otimização

Definição: Uma matriz simétrica An×n é definida negativa se −A


é definida positiva.

Definição: Uma matriz simétrica An×n é semi-definida negativa se


−A é semi-definida positiva. Uma matriz que não é semi-definida
negativa nem semi-definida positiva é uma matriz indefinida.

DEE-UFBA lucianam@ufba.br 25/41


2019.2 ENG574 - Otimização

Definição: Seja a matriz quadrada A = (ai,j ), com i = 1, . . . , n,


j = 1, . . . , n. Os determinantes da forma:

ai ,i ai ,i · · · ai ,i
1 1 1 2 1 k
ai ,i ai ,i · · · ai ,i
2 1 2 2 . 2 k

.

ai ,i ai ,i · · · ai ,i
k 1 k 2 k k

com 1 ≤ i1, i2, . . . , ik ≤ n e k ∈ {1, 2, . . . , n} são chamados


menores principais da matriz A.

Os determinantes da forma:

a1,1 a1,2
· · · a1,k
a2,1 a2,2 · · · a2,k

..

ak,1 ak,2 · · · ak,k
com k ∈ {1, 2, . . . , n} são chamados menores principais sucessivos
(ou menores principais lı́deres) da matriz A.

DEE-UFBA lucianam@ufba.br 26/41


2019.2 ENG574 - Otimização

Definição: Uma matriz An×n é definida positiva se todos os me-


nores principais lı́deres de A são positivos.

Definição: Uma matriz An×n é semi-definida positiva se todos os


menores principais lı́deres de A são não negativos.

Definição: Dada uma matriz A simétrica, a forma quadrática é


difinida como Q(x) = xT Ax, para todo x ∈ <n

DEE-UFBA lucianam@ufba.br 27/41


2019.2 ENG574 - Otimização

Alguns conceitos de topologia:

Conjuntos

Definição: Seja P ⊂ X, sendo X espaço linear. Um ponto (vetor)


p ∈ P é um ponto interior de P se ∃ ε > 0 tal que para todos
vetores x, os vetores ||x − p|| < ε estão também contidos em P .
Um ponto P é dito aberto se todos seus pontos são pontos interiores.
O conjunto de todos os pontos interiores de P é chamado interior de
P , (int(P )).

Definição: O conjunto {x : ||x − p|| < ε} é denominado esfera


aberta aberta em p e de raio ε. O conjunto {x : ||x − p|| ≤ ε} é
denominado esfera fechada, centrada em p e de raio ε.

DEE-UFBA lucianam@ufba.br 28/41


2019.2 ENG574 - Otimização

Ponto de Fronteira: Um ponto p que não é ponto interior de


P é um ponto de fronteira de P , ou seja, para todo r > 0, a bola
B(p; r) = {||x − p|| < r} contém algum ponto de X e também
algum ponto de X − P .

Fecho: Seja o conjunto P ∈ X. Um ponto p ∈ X é um ponto de


fecho de P se ∀ε > 0 existe um ponto x ∈ P tal que ||x − p|| < ε.

Conjunto fechado: Um conjunto P é dito fechado se sua fronteira


está contida em P . Ou seja, um conjunto P é dito fechado se todos
os seus pontos de fecho são também pontos de P .

DEE-UFBA lucianam@ufba.br 29/41


2019.2 ENG574 - Otimização

Conjunto limitado: Um conjunto P é dito limitado se ∃ cons-


tante c > 0 tal que ||x|| ≤ c para todo x ∈ P , ou seja, P está
contido em uma esfera de raio finito.

Conjunto compacto: Seja X um espaço linear de dimensão fi-


nita. Um conjunto P é compacto se é fechado e limitado.

DEE-UFBA lucianam@ufba.br 30/41


2019.2 ENG574 - Otimização

Funções:

Continuidade

Definição: Seja f (·) : Ω ⊂ X → < uma função de valor real


definida no conjunto Ω ⊂ X. Diz-se que f (·) é contı́nua em um
ponto xo ∈ Ω se limy→xo f (y) = f (xo),

ou seja, ∃δ > 0 tal que:

y ∈ Ω, |y − xo| < ω ⇒ |f (y) − f (xo)| < ε

OBS: Nesta caso exige-se que:


• xo ∈ Ω,
• ∃ limy→x f (y),
• ∃ limy→x f (y) = f (x).

DEE-UFBA lucianam@ufba.br 31/41


2019.2 ENG574 - Otimização

Diz-se que f (·) é contı́nua em Ω se f (·) é contı́nua em todo xo ∈ Ω.


Se f (·) é contı́nua em Ω diz-se simplesmente que f (·) é contı́nua.

Proposição: Seja h : <n → < uma função contı́nua, então:

• A = {x ∈ <n|0 < h(x)} é aberto em <n,


• F = {x ∈ <n|0 ≤ h(x)} é fechado em <n,
• f ront(A) = {x ∈ <n|0 = h(x)}.

DEE-UFBA lucianam@ufba.br 32/41


2019.2 ENG574 - Otimização

Derivadas: A derivada direcional de f (·) : <n → < no ponto


x ∈ <n é o escalar representado por f 0(x, d) definido por:

0 f (x + α d) − f (x)
f (x, d) = lim
α→0 α

• Se o limite ∃, diz-se que f (·) é diferenciável em x na direção d.

• Se o limite ∃ em x e em todas as direções d, diz-se que f (·) é


diferenciável em x.

DEE-UFBA lucianam@ufba.br 33/41


2019.2 ENG574 - Otimização

Notações:

• Se f (·) é contı́nua, escreve-se f (·) ∈ C.

• Se f (·) é diferenciável e sua primeira derivada é contı́nua, escreve-


se f (·) ∈ C 1.

• Se f (·) é 2 vezes diferenciável e sua segunda derivada é contı́nua,


escreve-se f (·) ∈ C 2.

• Se f (·) é p vezes diferenciável e sua derivada de ordem p é


contı́nua, escreve-se f (·) ∈ C p.

DEE-UFBA lucianam@ufba.br 34/41


2019.2 ENG574 - Otimização

Gradiente: Seja f (·) : <n → < ∈ C 1. O gradiente de de f (·) é


o vetor dado por:

 
∂ f (x)
 ∂ x1 
∂ f (x)
 
 
 ∂ x2 
∇f = 
 ..


 
 
 ∂ f (x) 
∂ xn

∂ f (x)
Note-se que: ∂ xi = f 0(x, ei), onde ei = [0, 0, . . . , 1, 0, 0]T .

Pode-se mostrar ainda que, se f (·) ∈ C 1 então f 0(x, d) = ∇f (x)T d.

DEE-UFBA lucianam@ufba.br 35/41


2019.2 ENG574 - Otimização

Hessiana: Seja f (·) : <n → < ∈ C 2, a derivada direcional de


segunda ordem é dada por f 00(x, d) = dT F (x)d, em que:

∂ 2 f (x) ∂ 2 f (x) ∂ 2 f (x) ∂ 2 f (x)


 
∂ x21 ∂ x1 ∂ x 2 ∂ x1 ∂ x 3 ··· ∂ x1 ∂ x n
 
∂ 2 f (x) ∂ 2 f (x) ∂ 2 f (x) ∂ 2 f (x)
 

 ∂ x2 ∂ x1 ∂ x22 ∂ x 2 ∂ xn ··· ∂ x2 ∂ xn


F (x) = 
 .. .. ..


 
 
∂ 2 f (x) ∂ 2 f (x) ∂ 2 f (x) ∂ 2 f (x)
···
 
∂ xn ∂ x1 ∂ xn ∂ x2 ∂ xn ∂ x3 ∂ x2n

F (x) é denominada Matriz Hessiana de f (·) em x.

DEE-UFBA lucianam@ufba.br 36/41


2019.2 ENG574 - Otimização

 
f1
Seja f (·) : <n → <m ∈ C 1 vetor de funções tal que f =  .. ,
fn
a matriz gradiente de f é a matriz cujas colunas são os vetores gra-
dientes de ∇fi:
∇f (x) = [∇f1(x) ∇f2(x) . . . ∇fm(x)] ∈ <n×m

Matriz Jacobiano de f (·):


 
∂ f1 (x) ∂ f1 (x) ∂ f1 (x)
∂ x1 ∂ x2 ··· ∂ xn
 
∂ f2 (x) ∂ f2 (x) ∂ f2 (x)
 

∂ x1 ∂ x2 ··· ∂ xn

T
 
J(x) = ∇ f (x) = 
 .. .. 

 
 
∂ fm (x) ∂ fm (x) ∂ fm (x) 
···

∂ x1 ∂ x2 ∂ xn

DEE-UFBA lucianam@ufba.br 37/41


2019.2 ENG574 - Otimização

Teorema do Valor Médio


Se f é uma função contı́nua em [a, b] e derivável em ]a, b[ então
existe c pertencente a ]a, b[ tal que a reta tangente ao gráfico de f
traçada no ponto (c, f (c)) é paralela à reta que passa por (a, f (a))
e (b, f (b)), isto é,
f (b) − f (a)
f 0(c) =
b−a
Dem: Seja a reta que passa pelos pontos (a, f (a)) e (b, f (b)), isto é:
f (b) − f (a)
y − f (a) = (x − a)
b−a
Essa reta é o gráfico da função:
f (b) − f (a)
T (x) = (x − a) + f (a)
b−a
Seja g(x) a função diferença entre f (x) e T (x)
 
f (b) − f (a)
g(x) = f (x) − T (x) = f (x) − (x − a) + f (a)
b−a

DEE-UFBA lucianam@ufba.br 38/41


2019.2 ENG574 - Otimização

E ainda,

(x = a) ⇒ g(a) = 0

(x = b), ⇒ g(b) = 0
Como g(x) é a diferença entre duas funções contı́nuas em [a, b] e deriváveis em
]a, b[, ela própria é contı́nua em [a, b] e derivável em ]a, b[. Logo, usando o Teorema
de Rolle para g(x), conclui-se que existe um número c no intervalo ]a, b[, tal que
g 0(x) = 0.
f (b) − f (a)
g 0(x) = f 0(x) −
b−a

f (b) − f (a)
g 0(c) = f 0(c) − =0
b−a
E portanto,
f (b) − f (a)
f 0(c) =
b−a
c.q.d.

DEE-UFBA lucianam@ufba.br 39/41


2019.2 ENG574 - Otimização

Desenvolvimento de Taylor

Seja f (x) uma função n vezes diferenciável em um domı́nio D.


Chama-se polinômio de Taylor de grau n da função f (x) no ponto
a ∈ D ao único polinômio:

0 f 00(a) f n(a)
Pan(x) = f (a) + f (a)(x − a) + 2
(x − a) + . . . + (x − a)n
2! n!

cujas derivadas no ponto a coincidem com as derivadas de f (x) até


ordem n:

k
[Pan(x)]

d
= f (k)(a) k = 0, 1, . . . n
dxk x=a

DEE-UFBA lucianam@ufba.br 40/41


2019.2 ENG574 - Otimização

Chama-se resto de Taylor de ordem n da função f (x) no ponto a o


erro:

R(x) = f (x) − Pan(x)

Sendo que as derivadas da função erro no ponto a se anulam até


ordem n:

R(k)(a) = f (k)(a) − (Pan)(k)(a) = 0 k = 0, 1, . . . n

DEE-UFBA lucianam@ufba.br 41/41

Potrebbero piacerti anche