Tecniche di regressione lineare semplice e multipla

Una tecnica di regressione si propone di identificare un modello attraverso cui prevedere i valori di una variabile
dipendente y a partire dai valori di una o più variabili indipendenti o esplicative x. Il modello di regressione lineare
semplice è adatto quando i valori delle variabili x e y sono linearmente interdipendenti tale che producendo un grafico
le coppie (x, y) si dispongono lungo una retta. Tale tecnica è di interesse per la taratura o verifica metrologica di un
sistema di misura e per numerosissime altre applicazioni in cui tramite indagine sperimentale si osserva la coppia di
grandezze interdipendenti, per esempio applicando un ingresso x noto e valutando l’uscita y del sistema e si procede col
formulare ipotesi su quale possa essere una ragionevole funzione che rappresenti o che approssimi la relazione tra x e y.
Più precisamente, il modello di regressione lineare suppone una relazione lineare tra x e y, ovvero

𝑦" = 𝑎𝑥" + 𝑏 (1)

dove εi rappresenta un termine d’errore o scarto ed a e b sono i parametri della cosiddetta retta di regressione. Questi
ultimi devono essere opportunamente scelti in modo tale da minimizzare la somma dei quadrati delle distanze dei punti
(𝑥" , 𝑦" ) dalla retta di regressione stimata. (Poiché alcune distanze sono positive e altre negative, si considera la somma
degli scarti al quadrato):

min0∑4 3
"56 𝜀" 7 (2)
.,/

Trovati i valori di a e b, la curva di risposta dello strumento è descritta al meglio in base al criterio del minimo errore
quadratico medio dalla seguente relazione:

𝑦 = 𝑎𝑥 + 𝑏 (3)

dove a e b sono stati trovati risolvendo il problema formalizzato in (2).

In particolare i parametri a e b rappresentano:
• b: il parametro offset dello strumento di misura;
• a: il guadagno effettivo dello strumento.
Se il guadagno assume un valore diverso dall’unità si verifica l’errore di guadagno dello strumento.
Definiamo:
𝑦6 𝑥6 𝜀6
𝑦=8 ⋮ : 𝑥=8 ⋮ : 𝜀=8 ⋮ : (4)
𝑦4 𝑥4 𝜀4

Il vettore 𝑥 è noto perché gli ingressi sono valori di riferimento applicati ai fini della verifica metrologica. L’insieme
delle M equazioni che si ottengono usando le coppie di valori xi e yi può essere riscritto nel seguente modo:

𝑦 = 𝑎𝑥 + 𝑏1 (5)

Inoltre il problema in (2) può essere formalizzato utilizzando la notazione vettoriale come:

min0𝜀 = 𝜀7 (6)
.,/

Si calcoli il prodotto 𝜀 = 𝜀:

=
𝜀 = 𝜀 = >𝑦 − 𝑎𝑥 − 𝑏1@ >𝑦 − 𝑎𝑥 − 𝑏1@=>𝑦 = − 𝑎𝑥 = − 𝑏1= @ >𝑦 − 𝑎𝑥 − 𝑏1@ =
= 𝑦 = 𝑦 − 𝑎𝑦 = 𝑥 − 𝑏𝑦 = 1 − 𝑎𝑥 = 𝑦 + 𝑎3 𝑥 = 𝑥 + 𝑎𝑏𝑥 = 1 − 𝑏1= 𝑦 + 𝑎𝑏1= 𝑥 + 𝑏3 1= 1 (7)

Osservando che 𝑦 = 𝑥 = 𝑥 = 𝑦 la (7) può riassumersi in

= 𝑦 = 𝑦 − 2𝑎𝑦 = 𝑥 − 2𝑏𝑦 = 1 + 𝑎3 𝑥 = 𝑥 + 2𝑎𝑏𝑥 = 1 + 𝑏3 1= 1 (8)

Derivando la funzione costo rispetto ai parametri a e b si ottengono le seguenti quantità:

 C (D E D)
= −2𝑦 = 𝑥 + 2𝑎𝑥 = 𝑥 + 2𝑏𝑥 = 1
B C.E (9)
C(D D)
= −2𝑦 = 1 + 2𝑎𝑥 = 1 + 2𝑏1= 1
C/

Per poter individuare i punti di stazionarietà, candidati ad essere minimi o massimi o, raramente nella pratica, punti di
flesso orizzontale, è necessario imporre le derivate parziali calcolate in (8) uguali a zero:

−2𝑦 = 𝑥 + 2𝑎𝑥 = 𝑥 + 2𝑏𝑥 = 1 = 0

F (10)
−2𝑦 = 1 + 2𝑎𝑥 = 1 + 2𝑏1= 1 = 0

Dividendo entrambi i membri per -2 si ottengono le equazioni:

𝑦 = 𝑥 − 𝑎𝑥 = 𝑥 − 𝑏𝑥 = 1 = 0
F = (11)
𝑦 1 − 𝑎𝑥 = 1 − 𝑏1= 1 = 0

e portando al secondo membro i termini noti:

𝑎H𝑥 = 𝑥 I + 𝑏H𝑥 = 1 I = 𝑦 = 𝑥
F (12)
𝑎H𝑥 = 1 I + 𝑏H1= 1 I = 𝑦 = 1

Le due equazioni sono indipendenti quindi il determinante della matrice dei coefficienti A1 è diverso da zero e il sistema
ammette un’unica soluzione, che può essere ottenuta per esempio risolvendo per a col metodo di Cramer e per b per
sostituzione:

OE P PE6
⎧ N E N
⎪ O 6 6E6 4 ∑S S S
QTU PQ OQ VH∑QTU PQ IH∑QTU OQ I
𝑎= R = R (13)
4 ∑S R S
QTU PQ VH∑QTU PQ I 4 ∑S R S
QTU PQ VH∑QTU PQ I
⎨
⎪ 𝑏 = 6 H∑4 𝑦 − 𝑎 ∑4 𝑥 I
⎩ 4 "56 " "56 "

I parametri a e b così determinati assicurano che la somma degli scarti al quadrato è minima. Ciò è sempre verificato in
quanto la funzione che si minimizza è un polinomio di secondo grado in a e b a valori non negativi, perché costruito
come somma di termini al quadrato. Essendo la funzione da minimizzare una funzione regolare, ovvero continua e
derivabile, limitata solo inferiormente, deve ammettere un minimo: l’unico punto di stazionarietà trovato deve
coincidere con questo minimo.

Se a=1 e b=0 lo strumento produce una risposta ideale (𝑦 = 𝑥), altrimenti lo strumento esibisce una risposta affetta da
un errore di guadagno e da offset.

Poiché l’errore di guadagno e l’offset sono effetti indesiderati è necessario poterli compensare; la compensazione può
avvenire mediante la messa a punto: si acquisisce la lettura y e la si rielabora per presentare all’utente dello strumento
un valore in cui l’offset e l’errore di guadagno sono stati compensati.

Il problema svolto può essere anche formalizzato al modo seguente, ovvero considerando una matrice di coefficienti X:

𝑥6 1 𝑦6 𝜀6
𝑎
𝑋 = [𝑥 1] = 8 ⋮ 1: 𝑦= ⋮ :
8 𝜀= ⋮ :
8 𝑎=Z [ (14)
𝑦4 𝜀4 𝑏
𝑥4 1

La matrice 𝑋 è nota perché gli ingressi sono applicati.

L’insieme delle M equazioni che si ottengono usando le coppie sperimentali può essere riscritto nel seguente modo:

𝑥𝑇 𝑥 𝑥𝑇 1
1
𝐴=] _
𝑥𝑇 1 1𝑇 1
𝑇
Il suo determinante è: |𝐴| = H𝑥𝑇 𝑥 I >1 1 @ − H𝑥𝑇 1 IH𝑥𝑇 1 I = 𝑀 ∑4
"56 𝑥" − (∑"56 𝑥" )
3 4 3
 𝑦 = 𝑋𝑎 + 𝜀 (15)
e il problema di minimizzazione
min0𝜀 = 𝜀7 (16)
.,/

Elaborando:
=
𝜀 = 𝜀 = >𝑦 − 𝑋𝑎@ >𝑦 − 𝑋𝑎@ = >𝑦 = − 𝑎= 𝑋 = @ >𝑦 − 𝑋𝑎@ =
= 𝑦 = 𝑦 − 𝑦 = 𝑋𝑎 − 𝑎= 𝑋 = 𝑦 + 𝑎= 𝑋 = 𝑋𝑎 (17)

dove 𝑦 = 𝑋𝑎 = 𝑎= 𝑋 = 𝑦 e quindi:

𝜀 = 𝜀 = 𝑦 = 𝑦 − 2𝑎= 𝑋 = 𝑦 + 𝑎= 𝑋 = 𝑋𝑎 (18)

Derivando tale prodotto e il vettore 𝑎 sia per a che per b si ottengono le seguenti quantità:

CH.I 1
⎧ C. = Z0[
⎪ CH.I 0
⎪ =Z [
C/ 1
E = = (19)
⎨ C HD DI = −2 >C.@ 𝑋 = 𝑦 + >C.@ 𝑋 = 𝑋𝑎 + 𝑎= 𝑋 = 𝑋 C.
⎪ C. C. C. C.
⎪ CHDE DI C. = = C. = = = = C.
⎩ C/ = −2 > C/ @ 𝑋 𝑦 + > C/ @ 𝑋 𝑋𝑎 + 𝑎 𝑋 𝑋 C/

C. 1
⎧ C. = Z0[
⎪C.
⎪ = Z0[
C/ 1
(20)
⎨ C HD E DI 1
= −2[1 0]𝑋 = 𝑦 + [1 0]𝑋 = 𝑋𝑎 + 𝑎= 𝑋 = 𝑋 Z [
⎪ E C. 0
⎪ CHD DI = = = = 0
⎩ C/ = −2[0 1]𝑋 𝑦 + [0 1]𝑋 𝑋𝑎 + 𝑎 𝑋 𝑋 Z1[

C HD E DI 1
= −2[1 0]𝑋 = 𝑦 + [1 0]𝑋 = 𝑋𝑎 + 𝑎= 𝑋 = 𝑋 Z [
b E
C. 0 (21)
CHD DI 0
= −2[0 1]𝑋 = 𝑦 + [0 1]𝑋 = 𝑋𝑎 + 𝑎= 𝑋 = 𝑋 Z [
C/ 1

Svolgendo i calcoli si ricava che:

[1 0]𝑋 = 𝑋𝑎 + 𝑎= 𝑋 = 𝑋 Z1[ = 2[1 0]𝑋 = 𝑋𝑎
0 (22)
0
[0 1]𝑋 = 𝑋𝑎 + 𝑎= 𝑋 = 𝑋 Z [ = 2[0 1]𝑋 = 𝑋𝑎
1
C HD E DI
C.
= −2[1 0]𝑋 = 𝑦 + 2[1 0]𝑋 = 𝑋𝑎
B E (23)
CHD DI
C/
= −2[0 1]𝑋 = 𝑦 + 2[0 1]𝑋 = 𝑋𝑎

Per poter effettuare lo studio di un minimo è necessario porre le derivate parziali uguali a zero:

−2[1 0]𝑋 = 𝑦 + 2[1 0]𝑋 = 𝑋𝑎 = 0

F (24)
−2[0 1]𝑋 = 𝑦 + 2[0 1]𝑋 = 𝑋𝑎 = 0

Dividendo entrambi i membri per -2 si ottengono le equazioni:

 [1 0]𝑋 = 𝑦 − [1 0]𝑋 = 𝑋𝑎 = 0
F (25)
[0 1]𝑋 = 𝑦 − [0 1]𝑋 = 𝑋𝑎 = 0

[1 0]𝑋 = 𝑋𝑎 = [1 0]𝑋 = 𝑦
F (26)
[0 1]𝑋 = 𝑋𝑎 = [0 1]𝑋 = 𝑦

𝐼𝑋 = 𝑋𝑎 = 𝐼𝑋 = 𝑦 (27)

𝑋 = 𝑋𝑎 = 𝑋 = 𝑦 (28)

𝑥= 𝑎 𝑥=
d e [𝑥 1] Z [ = d = e 𝑦 (29)
1= 𝑏 1

𝑥= 𝑥 𝑥= 1 𝑎 𝑥= 𝑦
d = eZ [ = 8 = : (30)
1 𝑥 1= 1 𝑏 1 𝑦

𝑥 = 𝑥𝑎 + 𝑥 = 1𝑏 = 𝑥 = 𝑦
F = (31)
1 𝑥𝑎 + 1= 1𝑏 = 1= 𝑦

Le due equazioni sono indipendenti, il determinante2 della matrice X è diverso da zero e il sistema ammette un’unica
soluzione (risolvendo a con Cramer e b per sostituzione):

OE P PE6
⎧ N E N
⎪ O 6 6E6 4 ∑S S S
QTU PQ OQ VH∑QTU PQ IH∑QTU OQ I
𝑎= S S R = S S R (32)
4 ∑QTU PQ R VH∑QTU PQ I 4 ∑QTU PQ RVH∑QTU PQ I
⎨
⎪ 6
𝑏 = 4 H∑4 4
⎩ "56 𝑦" − 𝑎 ∑"56 𝑥" I

Come già osservato, eseguendo delle prove sperimentali non sarà possibile soddisfare nessuna delle equazioni del
sistema 𝑦 = 𝑋𝑎 poiché per far sì che esse siano soddisfatte è necessario tener conto della presenza dello scarto 𝜀. Ciò
vuol dire che questo modello descrive solo approssimativamente la risposta dello strumento, e in particolare garantisce
che la sommatoria degli scarti quadratici sia minima. I parametri del modello, che approssima la risposta dello strumento,
sono soluzione di un sistema sovradeterminato (in quanto caratterizzato da M equazioni e 2 incognite).
Dato il sistema 𝑦 = 𝑋𝑎, la soluzione che approssimativamente risolve le equazioni minimizzando la sommatoria dei
quadrati degli scarti è quella che si ottiene risolvendo il sistema sovradeterminato col metodo della pseudo inversa.
Esso consiste nel moltiplicare a sinistra 𝑋 = i membri del sistema di equazioni 𝑦 = 𝑋𝑎:

𝑋 = 𝑋𝑎 = 𝑋 = 𝑦

Si ottiene così un sistema non più di M equazioni bensì di 2 equazioni in 2 incognite (perché la matrice dei coefficienti
𝑋 = 𝑋 ha dimensioni 2x2): se il determinante della matrice dei coefficienti è diverso da zero allora il sistema ammette
V6
un’unica soluzione la quale può essere riscritta nel seguente modo: 𝑎 = >𝑋 = 𝑋@ 𝑋=𝑦

Se durante la verifica metrologica il costruttore nota che il modello semplice descrive male la risposta dello strumento,
può decidere di effettuare una messa a punto dello strumento o di descrivere la risposta dello strumento non più con un
modello semplice bensì con un modello di tipo polinomiale.

𝑥𝑇 𝑥 𝑥𝑇 1
2
𝑿=] _
𝑥𝑇 1 1𝑇 1
𝑇
Il suo determinante è: |𝐴| = H𝑥𝑇 𝑥 I >1 1 @ − H𝑥𝑇 1 IH𝑥𝑇 1 I = 𝑀 ∑4
"56 𝑥" − (∑"56 𝑥" )
3 4 3
Immaginiamo ora che la curva di risposta dello strumento non sia lineare, ma ben descritta dal seguente modello
polinomiale nel campo d’impiego:
𝑦 = 𝑎g 𝑥 h + 𝑎6 𝑥 hV6 + 𝑎3 𝑥 hV3 + ⋯ + 𝑎hV6 𝑥 + 𝑎h + 𝜀 (33)

Il sistema da risolvere per identificare i parametri del modello è formalmente identico a quello già considerato: 𝑦 = 𝑋𝑎.
Nell’ipotesi di eseguire M misure, il sistema conterrà M equazioni in n+1 incognite. In questo modello il vettore 𝑎
contiene n+1 elementi e la matrice X è costituita da n+1 vettori colonna:
𝑎g
⋮
𝑎 = j𝑎 k
hV6
𝑎h
𝑥h 𝑥6hV6 … 𝑥6 1⎤
⎡ 6h
𝑥3hV6 … 𝑥3 1⎥
𝑋 = l𝑥 h 𝑥 hV6 … 𝑥 1n = ⎢ 𝑥3
⎢ ⋮ ⋮ ⋱ ⋮ ⋮⎥
h hV6 … 𝑥4
⎣𝑥4 𝑥4 1⎦
Per trovare i parametri del modello che minimizzano la sommatoria dei quadrati degli scarti è necessario procedere
come già fatto finora: calcolare il prodotto 𝜀 = 𝜀, derivarlo rispetto gli n+1 parametri che costituiscono il vettore 𝑎, porre
le derivate uguali a zero e risolvere il sistema sovradeterminato.
In realtà è possibile ottenere la soluzione in forma immediata applicando il metodo della pseudo inversa: si moltiplicano,
a sinistra, ambo i membri del sistema di equazioni 𝑦 = 𝑋𝑎 per 𝑋 = ottenendo così un sistema non più di M equazioni
bensì di n+1 equazioni in n+1 incognite; il determinante della matrice dei coefficienti per costruzione è diverso da zero
V6
e il sistema ammette un’unica soluzione: 𝑎 = >𝑋 = 𝑋@ 𝑋=𝑦 .

Ripetendo per il caso generale le considerazioni svolte nel caso del modello a 2 parametri, si dimostra che la soluzione
ottenuta con il metodo della pseudo inversa gode della proprietà di minimizzare la somma dei quadrati degli scarti.
Il problema risolto prende il nome di problema di regressione lineare a parametri multipli o problema di regressione
polinomiale (il modello è polinomiale ma i parametri da identificare sono i coefficienti dei monomi).