UNIVERSIDADE TECNOLÓGICA FEDERAL DO PARANÁ

PROGRAMA DE GRADUAÇÃO EM ENGENHARIA DE PRODUÇÃO

KAUAN RIBEIRO JORGE

QUADRADOS MÍNIMOS LINEARES

PONTA GROSSA

06/2017
 QUADRADOS MÍNIMOS LINEARES

PROBLEMA 1:
Ajuste linear clássico.

Uma barra vertical submetida a uma força axial (para baixo) alonga-se conforme mostrado na tabela abaixo:

Força (tf) 5 10 15 20

Comprimento (m) 3.700 3.867 3.950 4.083

Graficamente:

Comprimento

Força
8 10 12 14 16 18 20

3.9

3.8

3.7

 Queremos encontrar uma função que relacione a força aplicada e o comprimento da barra.
 A figura sugere que esta função seja uma reta:
d(t) = c1 + c2 t

onde d é o comprimento (em metros) e t a força (em toneladas-força).

 Não existe uma reta que passa por todos os quatro pontos.
 Precisamos encontrar os coeficientes c1 e c2 tais que a reta passe o mais perto possível dos pontos.
Porque usamos quatro pontos para encontrar apenas duas constantes (c1 e c2):
 Por causa dos erros de medição (não medimos corretamente a força aplicada ou o alongamento da barra).
 Por causa da imprecisão do modelo (o fenômeno não é representado exatamente por uma reta, mas esta aproximação
é suficiente).

Sistema linear equivalente:

 Sabemos que d(t) = c1 + c2 t,
 Dispomos de quatro pares de dados:
(t1,d1)=(5, 3.7), (t2,d2)=(10, 3.867), (t3,d3)=(15, 3.95), (t4,d4)=(20, 4.083)
 Podemos escrever o sistema linear:

c1  5c2  3.700
c1  10c2  3.867
c1  15c2  3.950
c1  20c2  4.083
 Esse sistema é indeterminado (não tem solução).
0.035

0.03

0.025

3.55 3.6 3.65 3.7 3.75

0.015

 Queremos encontrar o ponto que "mais se aproxima de todas as retas".

Sistema na forma matricial:

1 t 1  1 5   d 1  3.700
1 t 2  1 10 d  3.867
, c   1  e d   2   
c
 Ac  d , onde A   
 

1 t 3  1 15 c2  d 3  3.950
       
1 t 4  1 20 d 4  4.083
 Devemos encontrar o vetor c que minimiza o resíduo r = d - Ac.

Interpretação geométrica do resíduo.

 Suponhamos que temos uma reta d(t) = c1 + c2 t,
 Para cada par (ti, di) conhecido (dado do problema), o resíduo é dado por:

ei  d i  d (t i )  d i  (c1  c2t i )
 Graficamente:
 d
d2
3.85 e2
c1+c2t2
3.8

3.75 c1+c2t1

e1
3.7
d1
t
5 6 7 8 9 10

 Nosso objetivo é minimizar o resíduo "global", dado por uma norma.

 Normalmente usamos a norma 2, porque ela é continuamente diferenciável em c. O resíduo "global" é escrito como:

 (d
2
r 2
 d  Ac 2
 i  c1  c 2 t i )
i

Problema linear de ajuste de curvas.

 Agora podemos escrever matematicamente nosso problema:

min r 2
 min d  Ac 2
.
c1 ,c2 c1 ,c2

Ou seja:
 Dada uma matriz A, com posto coluna completo, e um vetor d;
 Queremos encontrar o vetor c = [c1, c2]T que faz com que a norma 2 do resíduo seja mínima.

 Teorema: o vetor c minimiza a norma do resíduo se e somente se:

 ATr = 0 (r  N(AT)), ou seja,

 ATAc = ATd (pela própria definição de r), ou seja,

 Pd = Ac (ou A(ATA)-1ATd = QQTd = Ac), ou seja,

 c = A+d = (ATA)-1ATd (A+ é chamada "pseudo-inversa" de A).

 Graficamente:
 d
r = d-Ac

Ac = Pb

R(A)

Usando a
decomposição de Cholesky.

 Sabemos que o vetor c deve satisfazer as equações normais ATAc = ATd.

 Como posto(A) = n, a matriz ATA é simétrica e definida positiva.
 Podemos decompor ATA = LLT.
 Neste caso, o sistema passa a ter a forma LLTc = ATd.
 Custo computacional: da ordem de 2mn2 + (2/3)n3.

Um exemplo.

Num estudo visando a construção de uma barragem, foram obtidos os seguintes dados que relacionam a cota do nível
dágua e o volume do reservatório. Aproximar os pontos por uma parábola.

cota (m) 25 35 45 55 65 75

volume (103 m3) 0.051 2.900 12.62 30.58 64.21 122.6

Objetivo do problema:
 encontrar uma função f(x) = c1 + c2x + c3x2 que forneça o volume aproximado do reservatório para uma cota de x
metros, dados os seis pares (xi, yi).

Sistema linear equivalente: Ac = y, onde

 1 x1 x 12  1 25 625   0.051
  
1 x2 x 22  1 35 1225 2.900
  c1   
1 x 32  1 2025 12.62
c  c2 ,
x3 45
A  , y  
x 42  1 55 3025  
1 x4
c3  30.58
1 x5 x 52  1 65 4225  64.21
     
1 x6 x 62  1 75 5625 122.6 

Sistema que precisamos resolver:

 6 300 16750 
 ATAc = ATy, onde AT A   300 16750 1012500 
 
16750 1012500 64633750

Sistema obtido pela decomposição de Cholesky:

 2.4495 0 0
 LLTc = ATy, onde L   122.4745 41.8330 0
 
6838.1589 4183.3001 611.0101

Solução do sistema:
 Encontramos c resolvendo os dois sistemas triangulares
Lz  AT y e LT c  z.
 Vetor obtido: c = [ 69,6772 -4.3394 0.06667 ]T.

Solução do problema:
 f(x) = 69,6772 - 4.3394x + 0.06667x2.
 Graficamente:
 160

140

120

100

80

60

40

20

-20
20 30 40 50 60 70 80

Usando a decomposição QR.

 Queremos encontrar um vetor c que minimiza

r 2
 d  Ac 2
.

 Mas, se Q é uma matriz ortogonal, então, para qualquer B,

QB 2  QT B  B 2 ,
2

donde podemos minimizar também

QT (d  Ac) .
2

 Se A for decomposta na forma A = QR, então temos

QT (d  QRc)  QT d  QT QRc  QT d  Rc
2 2 2

 Agora, vamos dividir o vetor g = QTd e a matriz R em duas partes:

g  R 
Q T d  g   1 , R   1
g 2  0
onde g1 tem n componentes, g2 tem (m-n) componentes
e R1 é uma matriz n x n.

 Assim, temos
2 2 2
QT d  Rc  g1  R1c 2
 g2 2
.
2

 Esta expressão será mínima quando

 R1c = g1.

 Neste caso, a norma do resíduo vale: r 2

 g2 2
.

 Custo computacional: da ordem de 4mn2 - (4/3)n3.

Usando a decomposição em valores singulares.

 A pseudo-inversa de A pode ser escrita como

A+ = VS-1UT
onde Umxn, Snxn e Vnxn são os fatores da SVD reduzida de A.

 Assim, podemos obter c diretamente usando, simplesmente,

c = VS-1UTd.
 Custo computacional: da ordem de 4mn2 + 22n3.

Problemas linearizáveis de quadrados mínimos.

 Em muitos casos, o problema de quadrados mínimos não é linear.

 Ex: aproximar os pares (xi, yi) por uma função do tipo y (x )  c1x c2 .
 Entretanto, este problema pode ser “linearizado” facilmente:

 Se queremos que y (x )  c1x c2 ,

podemos escrever também log( y ( x ))  log(c1x c2 ) ,
 ou log( y ( x ))  log(c1)  c2 log( x ) .

 Se x > 0 e y > 0, a terceira equação é equivalente à primeira.

 Chamando c1  log(c1) , w  log( x ) , z  log(y ) , temos o problema linear equivalente:

z(w )  c1  c2w

 Obtidos os valores de c1 e c2, podemos calcular c1 fazendo c1  e c1 .

Problemas com várias variáveis.

 Também podemos resolver problemas em que d é função de mais de uma variável:

Ex.: d (t , w,v )  c1  c2 log(t )  c3 log(w )  c4 log(v ) .

Problemas não linearizáveis.

 Usando a estratégia acima, não podemos resolver, por exemplo:

d(t )  c1  cos(c2  t )  ec3t  t c4 .