Sistemi lineari sovradeterminati

I sistemi lineari sovradeterminati hanno un numero di equazioni superiore al numero

di incognite, ossia sono della forma

𝐴𝑥 = 𝑏
dove 𝐴 ∈ 𝑅𝑚×𝑛 , 𝑥 ∈ 𝑅 𝑛 𝑒 𝑏 ∈ 𝑅𝑚 , 𝑚 > 𝑛

e quindi potrebbero non avere soluzioni.

In particolare se
se 𝑟𝑎𝑛𝑘(𝐴) ≠ 𝑟𝑎𝑛𝑘(𝐴|𝑏) → sistema incompatibile nessuna soluzione

se 𝑟𝑎𝑛𝑘(𝐴) = 𝑟𝑎𝑛𝑘(𝐴|𝑏) → sistema compatibile

𝒓𝒂𝒏𝒌(𝑨) = 𝒏 𝑠𝒐𝒍𝒖𝒛𝒊𝒐𝒏𝒆 𝒖𝒏𝒊𝒄𝒂

{
𝒓𝒂𝒏𝒌(𝑨) < 𝒏 ∞𝒏−𝒓𝒂𝒏𝒌(𝑨) 𝒔𝒐𝒍𝒖𝒛𝒊𝒐𝒏𝒊

La risoluzione di un sistema lineare sovradeterminato risulta, quindi, essere un

problema mal posto in quanto potrebbe accadere che la soluzione non esista o, se
esiste, non sia unica.
Per rendere il problema ben posto (ossia per fare in modo che ammetta sempre una ed
una sola soluzione che dipende con continuità dai dati del problema) si riconsidera
una sua riformulazione del seguente tipo.

1
Risoluzione di sistemi lineari sovradeterminati nel senso dei minimi quadrati
(Least Squares) .

Problema ben posto:

Cerchiamo la soluzione del sistema lineare sovradeterminato
𝐴𝑥 = 𝑏
dove 𝐴 ∈ 𝑅𝑚×𝑛 , 𝑥 ∈ 𝑅 𝑛 𝑒 𝑏 ∈ 𝑅𝑚 , 𝑚 > 𝑛
nel senso dei minimi quadrati, cioè, definito il vettore residuo come
𝑟: = 𝑏 − 𝐴𝑥
cerchiamo il vettore 𝑥 ∗ ∈ 𝑅𝑛 che rende minima la norma 2 al quadrato del residuo,
cioè
𝑥 ∗ = 𝑎𝑟𝑔𝑚𝑖𝑛 ||𝑟||22 = 𝑎𝑟𝑔𝑚𝑖𝑛 ||𝑏 − 𝐴𝑥||22 (1)
𝑥∈𝑅 𝑛 𝑥∈𝑅 𝑛

𝐹(𝑥) = ||𝑏 − 𝐴𝑥||22 = (𝑏 − 𝐴𝑥)𝑇 (𝑏 − 𝐴𝑥) = 𝑏 𝑇 𝑏 − 𝑏 𝑇 𝐴 𝑥 − 𝑥 𝑇 𝐴𝑇 𝑏 + 𝑥 𝑇 𝐴𝑇 𝐴𝑥 =

𝑥 𝑇 𝐴𝑇 𝐴𝑥 − 2𝑥 𝑇 𝐴𝑇 𝑥 + 𝑏 𝑇 𝑏
.
Per calcolare il valore 𝑥 ∗ ∈ 𝑅𝑛 che rende minimo 𝐹(𝑥), calcoliamo il gradiente
della funzione F(x) , ed imponiamo che si annulli
𝛻𝐹(𝑥) = 2𝐴𝑇 𝐴𝑥 − 2𝐴𝑇 𝑏 = 0

Il vettore 𝑥 ∗ ∈ 𝑅𝑛 che annulla il gradiente della funzione F(x) è la soluzione del

sistema lineare
𝐴𝑇 𝐴𝑥 = 𝐴𝑇 𝑏

Queste ultime equazioni sono note come equazioni normali e la loro risoluzione
porta alla risoluzione del problema dei minimi quadrati.

2
Mediante abbiamo trasferito il problema della risoluzione di un sistema sovra
determinato in quello della risoluzione di un sistema quadrato con matrice G = ATA
di dimensione n x n. .

Ovviamente affinché il sistema quadrato di dimensione 𝑛 × 𝑛 sia risolubile è

necessario che il determinante della matrice ATA sia diverso da zero, e quindi è
necessario che la matrice A abbia rango n .
Inoltre, affinché la soluzione cercata sia proprio un minimo è necessario che la
matrice Hessiana valutata nella soluzione sia una matrice definita positiva.
Poichè
𝛻 2 𝐹(𝑥) = 2 𝐴𝑇 𝐴
occorre che la matrice 𝐺 = 𝐴𝑇 𝐴 sia definita positiva.
La matrice G = ATA è simmetrica, infatti
ATA=( ATA)T.
Deve essere definita positiva, cioè:
∀ 𝑥 ≠ 0, 𝑥 𝑇 𝐴𝑇 𝐴𝑥 > 0
Si osserva che 𝑥 𝑇 𝐴𝑇 𝐴𝑥 può essere vista come
𝑥 𝑇 𝐴𝑇 𝐴𝑥 = (𝐴𝑥)𝑇 𝐴𝑥 = ||𝐴𝑥||22 .

Perciò, per le proprietà sulle norme, || Ax || 22  0  Ax  0 .

Se la matrice A è a rango massimo, cioè costituita da vettori colonna linearmente
indipendenti, allora Ax = 0 se e solo se x = 0, che è escluso dalle ipotesi.
Pertanto la condizione che garantisce la risolubilità del sistema delle equazioni
normali garantisce anche che la soluzione trovata sia un minimo.

3
TEOREMA
Dato il sistema lineare sovradeterminato
𝐴𝑥 = 𝑏
dove 𝐴 ∈ 𝑅𝑚×𝑛 , 𝑥 ∈ 𝑅 𝑛 𝑒 𝑏 ∈ 𝑅𝑚 , 𝑚 > 𝑛
𝑥 ∗ = 𝑎𝑟𝑔𝑚𝑖𝑛 ||𝑏 − 𝐴𝑥||22 ⇔ è la soluzione di 𝐴𝑇 𝐴𝑥 = 𝐴𝑇 𝑏
𝑥∈𝑅 𝑛

La soluzione è unica se e solo se la matrice A ha rango massimo 𝑟𝑎𝑛𝑘(𝐴) = 𝑛 (le

colonne di A sono linearmente indipendenti).
Se 𝑟𝑎𝑛𝑘(𝐴) < 𝑛 invece le colonne di A sono linearmente dipendenti allora il
problema ha infinite soluzioni; tuttavia quella di lunghezza (euclidea) minima è
unica.

La soluzione del problema dei minimi quadrati mediante equazioni normali richiede
solo che la matrice A del sistema sovradeterminato Ax=b abbia rango massimo.
Se questa condizione è verificata il vettore x* tale che
𝑥 ∗ = 𝑎𝑟𝑔𝑚𝑖𝑛‖𝑏 − 𝐴𝑥‖22
𝑥∈𝑅 𝑛

può essere sempre calcolato, teoricamente, come soluzione delle equazioni normali
𝐴𝑇 𝐴𝑥 = 𝐴𝑇 𝑏.
La matrice G = ATA è simmetrica e definita positiva e quindi il sistema può essere
risolto utilizzando il metodo di Cholesky.

ATTENZIONE AL MALCONDIZIONAMENTO
Poiché
𝐾2 (𝐴𝑇 𝐴) = ( 𝐾2 (𝐴))2
Questo implica che il sistema delle equazioni normali può risultare mal condizionato
anche quando il problema nella sua forma originale non lo è.
Se quindi A è ben condizionata il metodo delle equazioni normali è un ottimo
metodo per calcolare la soluzione del problema dei minimi quadrati. Se A è

4
‘mediamente mal condizionata’ il metodo delle equazioni normali è numericamente
pericoloso perché può fornire risultati non affidabili.

Per ovviare a questo problema, nei prossimi paragrafi considereremo, per risolvere il
problema dei minimi quadrati, un altro metodo, che si basa su un principio diverso:
poiché sappiamo che le trasformazioni ortogonali lasciano inalterata la norma 2 di un
vettore l’idea è di individuare una trasformazione ortogonale che, applicata al
residuo r = b-Ax, lo trasformi in modo tale da rendere più facile la soluzione del
problema di minimizzarne la norma.

Metodo QR per la risoluzione del problema dei Minimi Quadrati (QRLS)

Abbiamo già detto che il Metodo dei Minimi quadrati, applicato per trovare una
soluzione del sistema sovradeterminato
Ax=b con A m x n,

xRn e bRm
consiste nel trovare quel valore di x* tale che
𝑥 ∗ = 𝑎𝑟𝑔𝑚𝑖𝑛‖𝑏 − 𝐴𝑥‖22
𝑥∈𝑅 𝑛

x* esiste ed è unico se il rango(A) = n.

Poiché la minimizzazione diretta di || r || 22 porta al metodo delle equazioni normali

(che come abbiamo detto presenta problemi numerici nel caso di A non ben
condizionata) il metodo che considereremo si basa su un principio diverso: poiché
sappiamo che le trasformazioni ortogonali lasciano inalterata la norma 2 di un vettore
l’idea è di individuare una trasformazione ortogonale che, applicata al residuo
r = b-Ax, lo trasformi in modo tale da rendere più facile la soluzione del problema di
minimizzarne la norma.

5
Proprietà: Una matrice ortogonale 𝑄 ∈ 𝑅𝑚×𝑚 applicata ad un vettore 𝑦 ∈ 𝑅𝑚 , ne
mantiene inalterata la norma 2 al quadrato, cioè:
2 2
||𝑄𝑦||2 = ||𝑦||2
Dim.
Ricordiamo che una matrice ortogonale è tale che 𝑄𝑇 𝑄 = 𝑄𝑄𝑇 = 𝐼
2 𝑇 2
||𝑦||2 = 𝑦 𝑇 𝑦 = 𝑦 𝑇 𝑄𝑇 𝑄𝑦 = (𝑄 𝑦) (𝑄 𝑦) = ||𝑄𝑦||2

Vale anche
2 2
||𝑦||2 = 𝑦 𝑇 𝑦 = 𝑦 𝑇 𝑄𝑄𝑇 𝑦 = (𝑄𝑇 𝑦)𝑇 (𝑄𝑇 𝑦) = ||𝑄𝑇 𝑦||2

Abbiamo visto che assegnata una matrice rettangolare 𝐴 ∈ 𝑅𝑚×𝑛 , con rango n, essa
può essere sempre fattorizzata, mediante successive trasformazioni di Householder
nella forma
𝑛
⏞⋱ 𝑅1
⋱ }𝑛
𝐴 = 𝑄𝑅 = [𝑄] ⋅ 0 ⋱
⋯ ⋯ ⋯
[ 0 ]𝑚 − 𝑛

dove Q è ortogonale mxm e 𝑅1 è una matrice triangolare superiore nxn con elementi
rii tutti diversi da 0.
Una volta calcolata la fattorizzazione QR di A, poiché Q è ortogonale e quindi
anche QT è ortogonale, consideriamo
‖𝑄𝑇 (𝑏 − 𝐴𝑥)‖22 = ‖𝑄𝑇 𝑏 − 𝑄𝑇 𝐴𝑥‖22 = ‖𝑄𝑇 𝑏 − 𝑅1 𝑥‖22 .
(infatti premoltiplicando ambo i membri di 𝐴 = 𝑄𝑅 per 𝑄𝑇 , si ottiene
𝑄𝑇 𝐴 = 𝑄𝑇 𝑄𝑅 = 𝑅 ( essendo Q ortogonale e quindi 𝑄𝑇 𝑄 = 𝐼)

Posto

6
 ℎ1 }𝑛
𝑇
ℎ = 𝑄 𝑏 = [⋯ ]
ℎ2 }𝑚 − 𝑛
si ha
𝑛 2
2
ℎ1 ⏞⋱ 𝑅1
‖ ‖ (ℎ − 𝑅1 𝑥)
}𝑛 ⋱ ‖ 1 ‖
− 0 ⋱ 𝑥 =
‖ ⋯ 𝑚−𝑛 ⋯ ⋯ ⋯ ‖ ‖ ‖
[ℎ 2 ] [ ] ℎ2
0
2 2

𝑚𝑖𝑛 ‖𝐴𝑥 − 𝑏‖22 = 𝑚𝑖𝑛𝑛 {‖ℎ1 − 𝑅1 𝑥‖22 + ‖ℎ2 ‖22 } = 𝑚𝑖𝑛𝑛 ‖ℎ1 − 𝑅1 𝑥‖22 + ‖ℎ2 ‖22 .
𝑥∈ℜ𝑛 𝑥∈ℜ 𝑥∈ℜ

Quindi il minimo sarà dato da x* che risolve il sistema lineare

𝑅1 𝑥 ∗ = ℎ1
Il metodo QR per la soluzione del problema dei minimi quadrati consiste quindi nel
calcolare i due fattori Q ed R di A, nel valutare h1 e risolvere il sistema lineare
𝑅1 x = h1 , con 𝑅1 matrice triangolare superiore.

Due sono i vantaggi da un punto di vista dell’affidabilità della soluzione

nell’utilizzare il metodo QR. Il primo è quello di lavorare sempre solo sulla matrice
A, senza dover passare alla matrice ATA che, come abbiamo visto, è molto peggio
condizionata di A. Il secondo è che la fattorizzazione QR è, se pur non stabile in
senso forte, abbastanza stabile. Più precisamente, ricordando che la definizione di
stabilità forte di una fattorizzazione di A ( che si suppone normalizzata aij  1) chiede
che esistano due costanti a e b indipendenti dalla dimensione e dagli elementi di A
tali che gli elementi delle due matrici della fattorizzazione siamo maggiorabili da
queste due costanti, abbiamo che per la fattorizzazione QR vale
|| qij || a e || rij || b

7
con a =1 e b = n .

Questo ci dice che gli elementi di R possono crescere al massimo come n e quindi
la stabilità della fattorizzazione è abbastanza buona.
Se quindi la matrice A mxn ha rango n ed è ‘mediamente mal condizionata’ la
soluzione del problema dei minimi quadrati con il metodo QR produce in genere
risultati sufficientemente accurati.

8
 Approssimazione nel senso dei minimi quadrati di un insieme di dati

sperimentali

Siano assegnate m coppie di valori sperimentali (xi,yi) i=0,…,m-1 , (in cui tutte le
ascisse siano distinte tra loro) , che descrivono in modo discreto l’andamento di un
fenomeno reale(es. l’andamento della quotazione di un titolo azionario nel mese di
marzo, o le misure di piovosità in una certa stazione di misura nei primi mesi
dell’anno).
Sia m>n, si vuole determinare il polinomio di grado n
𝑃𝑛 (𝑥) = ∑𝑛𝑗=0 𝛼𝑗 𝑥 𝑗

i cui coefficienti 𝛼𝑗 , 𝑗 = 0, . . 𝑛 si ottengono risolvendo nel senso dei minimi quadrati

il sistema lineare sovradeterminato ottenuto costituito dalle equazioni:
𝑃𝑛 (𝑥𝑖 ) = 𝑦𝑖 i=0,..,m-1 (2)

Indichiamo con  il vettore di dimensione n+1 dei coefficienti della combinazione

lineare
𝛼0
𝛼 = [⋮ ],
𝛼𝑛
con y il vettore, di dimensione m delle misure sperimentali
𝑦0
𝑦 = [⋮ ]
𝑦𝑚−1

e con B la matrice (𝑚) × (𝑛 + 1), con rango n+1, data da

𝑥00 𝑥01 … 𝑥0𝑛
𝑥10 𝑥11 … 𝑥1𝑛
𝐵= 𝑥20 𝑥21 … 𝑥2𝑛
⋮ ⋮ ⋮ ⋮
0 1 𝑛
[𝑥𝑚−1 𝑥𝑚−1 𝑥𝑚−1 ]

9
dove 𝐵 ∈ 𝑅(𝑚)×(𝑛+1) , rank(B)=n+1, m>n

Individuare i coefficienti del polinomio 𝑃𝑛 (𝑥) = ∑𝑛𝑗=0 𝛼𝑗 𝑥 𝑗 in maniera tale che

𝑃𝑛 (𝑥𝑖 ) = 𝑦𝑖 i=0,..,m-1 equivale a determinare la soluzione nel senso dei
minimi quadrati del sistema lineare sovradeterminato

𝐵𝛼 = 𝑦 .

che equivale a trovare il vettore dei coefficienti 𝛼

𝛼 ∗ = 𝑎𝑟𝑔𝑚𝑖𝑛‖𝑦 − 𝐵𝛼‖22

Problema che può essere risolto con uno dei due metodi precedentemente illustrati.

10