Scuola universitaria professionale

della Svizzera italiana

Dipartimento
Tecnologie
Innovative

Metodo dei minimi quadrati e matrice pseudoinversa

Algebra Lineare
Semestre Estivo 2006

Metodo dei minimi quadrati e matrice pseudoinversa

3.1

SUPSI-DTI

Il metodo dei minimi quadrati

3.1.1

Problema introduttivo

Una ferrovia percorre una tratta che porta dal paese A al paese D passando per i
paesi C e D.
Ao

x1

/Bo

x2

/Co

x3

/D

Si vuole misurare con precisione la distanza tra le diverse stazioni. Due impiegati
delle ferrovie eseguono le misurazioni necessarie e raccolgono i seguenti dati:
AB = 35km, AC = 67km, AD = 89km, BD = 53km, CD = 20km.
Otteniamo quindi il sistema

x1

x1 + x2
x1 + x2 + x3

x2 + x3

x3

=
=
=
=
=

35
67
89
53
20

Risolvendo il sistema con Gauss troviamo:

1
1
1
0
0

0
1
1
1
0

0
0
1
1
1

1
35
67
0
89 0
0
53
0
20

0
1
0
0
0

0
0
1
0
0

35
32
22
1
0

Il sistema `e impossibile! Evidentemente gli impiegati delle ferrovie hanno compiuto

degli errori di misurazione. Come possiamo ricostruire le distanze x1 , x2 , x3 a partire
dai dati raccolti nel miglior modo possibile?
3.1.2

Sistemi di equazioni sovra-determinati: un problema frequente in

pratica

Il problema introduttivo `e solo un esempio di un problema molto frequente in pratica. Se si vogliono determinare delle grandezze sconosciute tramite misurazioni `e
praticamente impossibile non commettere errori di misurazione. Per aumentare la
sicurezza di solito si tende a raccogliere un numero di misurazioni delle grandezze
da determinare (o di grandezze ad esse correlate) superiore al numero di incognite.
Cos` facendo si ottengono dei sistemi Ax = b con un numero di equazioni superiore
al numero di incognite (A Rmn con m > n), questi sistemi vengono detti sovradeterminati. Solitamente i sistemi sovra-determinati non possiedono una soluzione
esatta.
2

Algebra Lineare

Semestre Estivo 2006

SUPSI-DTI

Metodo dei minimi quadrati e matrice pseudoinversa

Come possiamo allora risolvere il nostro problema? Chiaramente non `e possibile

ricavare una soluzione esatta x e quindi dobbiamo accontentarci di calcolare un
vettore x che somigli il pi`
u possibile a una soluzione del sistema. In particolare
sappiamo che per qualsiasi x vale
A x 6= b,
e quindi esiste un vettore r di residui tale che
A x = b + r.
Il vettore x migliore sar`a quello per cui i residui sono pi`
u piccoli secondo un certo
criterio. Il criterio pi`
u usato in pratica `e quello di cercare il vettore x tale che il
vettore r dei residui abbia modulo minimo, ossia quando
q
2 ,
krk = r12 + . . . + rm
`e minimo, o in maniera equivalente quando
2
r12 + . . . + rm
,

`e minimo. Questo criterio viene detto criterio dei minimi quadrati e il metodo per
trovare il vettore x metodo dei minimi quadrati.
3.1.3

Il metodo dei minimi quadrati

Consideriamo il sistema
A x b = r.
Il sistema pu`o essere scritto in componenti come

a11 x1 + a12 x2 + . . . + a1n xn b1 = r1

a21 x + a22 x + . . . + a2n x b2 = r2

n
2
1
..

a x + a x + . . . + a x b = r
m1 1
m2 2
mn n
m
m

a1j

e, definendo i vettori aj = ... per ogni j = 1, . . . , n, pu`o essere scritto in

amj
forma vettoriale come

x1 a1 + x2 a2 + . . . + xn an b = r.

(3.1)

Il vettore di residui r `e la differenza tra una combinazione lineare dei vettori a1 , . . . , an

e il vettore b. Per far s` che il vettore r abbia modulo minimo `e necessario che r
Semestre Estivo 2006

Algebra Lineare

Metodo dei minimi quadrati e matrice pseudoinversa

SUPSI-DTI

sia perpendicolare allo sottospazio di Rm generato dai vettori a1 , . . . , an . Quindi il

vettore r deve soddisfare le seguenti condizioni:
a1 r = 0,
a2 r = 0,
..
.
an r = 0,
dove indica un prodotto scalare tra vettori. Moltiplicando scalarmente entrambe le
parti del sistema 3.1 per ogni vettore aj otteniamo un nuovo sistema di n equazioni
e n incognite, sappiamo infatti che
x1 aj a1 + x2 aj a2 + . . . + xn aj an aj b = aj r = 0,
e quindi abbiamo il sistema

x1 a1 a1 + x2 a1 a2 + . . . + xn a1 an = a1 b

x a2 a1 + x a2 a2 + . . . + x a2 an = a2 b
1
2
n
..

x a a + x a a + . . . + x a a = a b
n
1
n
2
n
n
n
1
2
n

(3.2)

Sfruttando il fatto che il prodotto scalare ai aj `e esprimibile sotto forma di prodotto

matriciale come ai T aj possiamo scrivere il sistema 3.2 in forma matriciale come
AT A x = AT b.

(3.3)

Il sistema 3.3 `e un sistema di n equazioni e n incognite che, nei problemi reali,

solitamente, possiede ununica soluzione esatta x che a sua volta `e la soluzione
secondo il criterio dei minimi quadrati del sistema A x = b. Si pu`o dimostrare
che il sistema 3.3 non possiede ununica soluzione solo se le colonne della matrice A
sono linearmente dipendenti, eseguendo molte misurazioni con errori di misurazione
questa eventualit`a `e in realt`a praticamente impossibile.
Esempio Possiamo ora calcolare la soluzione del problema introduttivo secondo
il criterio dei minimi quadrati. Abbiamo

1 0 0
1 1 0

1
1
1
A=

0 1 1
0 0 1

1
0
0

1 1 0
3 2 1
1 1 1 0 0

2 3 2 ,
AT A = 0 1 1 1 0
1 1 1 =
0 1 1
1 2 3
0 0 1 1 1
0 0 1
4

Algebra Lineare

Semestre Estivo 2006

SUPSI-DTI

Metodo dei minimi quadrati e matrice pseudoinversa

1 1 1 0 0

0 1 1 1 0

A b=

0 0 1 1 1

35
67
89
53
20

191

= 209 ,

162

otteniamo quindi il sistema

x1
3 2 1
191
2 3 2 x2 = 209 ,
x3
1 2 3
162
e la soluzione x1 = 35.125, x2 = 32.5, x3 = 20.625.

3.2

La matrice pseudoinversa

Se tutte le colonne della matrice A sono linearmente indipendenti, allora la matrice

` possibile dimostrare che in questo caso anche la
ha rango massimo (rang(A) = n). E
T
matrice A A possiede rango massimo. Ma visto che AT A `e una matrice quadrata
di rango massimo sappiamo che possiede una matrice inversa (AT A)1 . Il sistema
3.3 pu`o quindi essere risolto calcolando direttamente
x = (AT A)1 AT b.
La matrice (AT A)1 AT Rnm `e detta pseudoinversa della matrice A Rmn .
Solitamente la matrice pseudoinversa di A viene indicata con A+ .
3.2.1

Propriet`
a della matrice pseudoinversa

Data una matrice A Rmn di rango massimo e la sua pseudoinversa A+ valgono

le seguenti propriet`a.
A A+ A = A,
A+ A A + = A+ ,
( A)+ = 1 A+ . dove 6= 0 `e un numero reale.
Se la matrice A `e gi`a una matrice quadrata di rango pieno e quindi invertibile
allora la sua pseudoinversa `e uguale alla sua inversa (A1 = A+ ). Bisogna fare bene
attenzione per`o di non pensare che la pseudoinversa di una matrice non quadrata sia
lequivalente dellinversa di una matrice quadrata. Mentre linversa viene utilizzata
per trovare la soluzione esatta di un sistema determinato, la pseudoinversa viene
utilizzata per trovare un vettore che soddisfi il criterio dei minimi quadrati in un
sistema sovra-determinato, vettore che non sar`a in generale una soluzione esatta del
sistema.
Semestre Estivo 2006

Algebra Lineare

Metodo dei minimi quadrati e matrice pseudoinversa

3.3

SUPSI-DTI

Esercizi

1. Verifica le propriet`a della pseudoinversa utilizzando la matrice

2
1
A = 3 1 .
1
2
2. Determina una funzione f (x) = ax+b che passi il pi`
u vicino possibile (secondo
il criterio dei minimi quadrati) ai punti
xi
yi

-1
0

0
1

1
3

2
9

3. Determina una funzione g(x) = a x2 + b x + c che passi il pi`

u vicino possibile
(secondo il criterio dei minimi quadrati) ai punti
xi
yi

0
1.86

1
5.63

2
12.42

3
17.58

4
21.15

5
28.49

6
33.48

7
37.26

4. Cosa otteniamo come soluzione con il metodo dei minimi quadrati se misuriamo ripetutamente ununica grandezza?
5. Di un triangolo ABC misuriamo i tre angoli = 31o , = 62o e = 90o .
Utilizza il metodo dei minimi quadrati per stimare il valore dei tre angoli.

Algebra Lineare

Semestre Estivo 2006