Documenti di Didattica
Documenti di Professioni
Documenti di Cultura
5 ML Regressione PDF
5 ML Regressione PDF
Lineare
Simple linear regression
Multiple linear regression
Regression vs Geometrical fitting
Non lineare
Variabile indipendente non lineare
Ottimizzazione numerica (metodi iterativi)
ML
prof. Davide Maltoni – Università di Bologna Regressione
1
Definizioni
ML
prof. Davide Maltoni – Università di Bologna Regressione
2
Simple Linear Regression
dove:
𝜀𝑖 è l’errore di misura (incognito) del pattern 𝑥𝑖
𝛼, 𝛽 sono parametri da determinare
la soluzione ai minimi quadrati (Least Square) del problema
consiste nel determinare l’equazione della retta:
𝑓 𝑥 =𝑦 =𝛼+𝛽∙𝑥
𝛼 ∗ , 𝛽 ∗ = 𝑎𝑟𝑔 𝑚𝑖𝑛 𝑓 𝑥 − 𝑦𝑖 2
= 𝜀𝑖 2
𝛼,𝛽
𝑖=1…𝑛 𝑖=1…𝑛
residui 𝜀𝑖
ML
prof. Davide Maltoni – Università di Bologna Regressione
3
Simple Linear Regression (2)
σ𝑖=1…𝑛 𝑥𝑖 − 𝑥ҧ 𝑦𝑖 − 𝑦ത
𝛽∗ = , 𝛼 ∗ = 𝑦ത − 𝛽 ∗ 𝑥ҧ
σ𝑖=1…𝑛 𝑥𝑖 − 𝑥ҧ 2
ML
prof. Davide Maltoni – Università di Bologna Regressione
4
Multiple Linear Regression
𝐲=𝐗𝛃
ML
prof. Davide Maltoni – Università di Bologna Regressione
5
Multiple Linear Regression (2)
𝐗 𝑡 𝐗 𝛃∗ = 𝐗 𝑡 𝐲
Esempio 𝑑 = 2:
ML
prof. Davide Maltoni – Università di Bologna Regressione
6
Multiple Linear Regression (3)
Nota bene:
Se 𝑛 = 𝑑 + 1 , la matrice 𝐗 è quadrata e l’iperpiano di
regressione tocca tutti i punti (interpolazione)
Se 𝑛 > 𝑑 + 1 , il numero di equazioni è superiore al numero
di incognite e l’iperpiano approssima i punti.
Per essere invertibile la matrice 𝐗 𝑡 𝐗 deve essere a rango
massimo: problemi in caso di punti collineari (colonne di
𝐗 linearmente dipendenti).
La matrice 𝐗 𝑡 𝐗 è spesso «mal condizionata» e il calcolo
dell’inversa può risultare numericamente instabile. Il
problema può essere risolto in modo numericamente più
stabile attraverso decomposizione SVD (Singular Value
Decomposition) di 𝐗:
𝐗 = 𝐔𝚪𝐕𝑡
Dove 𝐔 è una matrice ortogonale 𝑛 × 𝑛, 𝐕 è una matrice
ortogonale (𝑑 + 1) × (𝑑 + 1) e 𝚪 una matrice diagonale
rettangolare 𝑛 × (𝑑 + 1) con tutti gli elementi fuori diagonale
uguali a 0.
Si dimostra che:
𝛃∗ = 𝐕𝚪 + 𝐔 𝑡 𝐲
ML
prof. Davide Maltoni – Università di Bologna Regressione
7
Regression vs Geometrical fitting
ML
prof. Davide Maltoni – Università di Bologna Regressione
8
Esempio: stima prezzo case
ML
prof. Davide Maltoni – Università di Bologna Regressione
9
Stima con Multiple Linear Regression
ML
prof. Davide Maltoni – Università di Bologna Regressione
10
Variabile indipendente non lineare
𝑥1 2 𝑥1 1
2
𝐗= 𝑥2 𝑥2 1
⋮ ⋮ ⋮
𝑥𝑛 2 𝑥𝑛 1
ottenendo
Esempio 𝑑 = 2
ML
prof. Davide Maltoni – Università di Bologna Regressione
11
Regressione non lineare
ML
prof. Davide Maltoni – Università di Bologna Regressione
12
In pratica
ML
prof. Davide Maltoni – Università di Bologna Regressione
13
Prezzi case: modelli non lineari
ML
prof. Davide Maltoni – Università di Bologna Regressione
14