Metodi di Analisi dei Dati Sperimentali

AA 2009/2010 Pier Luca Maffettone

Regressione non lineare

 Regressione non lineare - Introduzione

• Sino ad ora si sono considerati casi con modelli lineari nei parametri:

Y = β0 + β1 x1 + β2 x2 + ... + βk xk
• Tale scrittura risulta più generica di quanto sembri dato che la singola variabile
regressore può essere una funzione non lineare generica delle condizioni sperimentali.

• Esempi:
x1 = x2 z, x2 = log(z)

2 /61
MADS
Lezione 8
2009
 Regressione non lineare - Introduzione

• Ci possono essere dei casi in cui i modelli lineari non sono adeguati, e il valore
osservato Y NON È funzione lineare dei parametri θ.

y = exp(θ1 + θ2 x2 )
– Il modello può essere “linearizzato”, ma tale procedura porta comunque a delle stime dei
parametri non ottimali

y = θ0 exp[(−θ1 x) − exp(−θ2 x)]

– Il modello non permette invece alcun tipo di linearizzazione.

3 /61
MADS
Lezione 8
2009
 Modelli non lineari

• Lo studio reologico di un materiale viene affrontato scegliendo condizioni di flusso

semplici.

• Flusso di Scorrimento:
– Un flusso è uno scorrimento se è possibile individuare una famiglia di superfici materiali
(cioè fatte di particelle di fluido) le quali si mantengono inalterate durante il moto.
– Le superfici sono in moto relativo l’una rispetto all’altra. Il moto di ciascuna di esse è però
rigido (traslatorio e/o rotatorio)

4 /61
MADS
Lezione 8
2009
 Reometria

• Per effetto dello scorrimento si genera nel liquido uno sforzo tangenziale.
– Se il liquido è Newtoniano allora:
– Se il liquido è non Newtoniano:
• f è una funzione non lineare
– Nel caso non-Newtoniano possono generarsi anche sforzi normali (ma qui questo aspetto
non ci interessa).

• In generale dipende dal punto e dal tempo. Se esso non cambia nel tempo il flusso di
scorrimento si dice viscometrico.

• Flusso viscometrico uniforme: è costante ovunque.

• Uno strumento capace di generare un flusso viscometrico uniforme può essere usato
per caratterizzare la

5 /61
MADS
Lezione 8
2009
 Viscosimetri piatto e cono

• Viscosimetro rotazionale a piatto e cono

– R è in genere circa 2cm.
– α è pochi gradi.

• Campi di applicazione
– E’ una delle apparecchiature più utilizzate
– shear rate da 10-6 a 1000 s-1.
Parametri geometrici:
R, α
• Modello del processo
– angolo del cono piccolo: sinα≈tanα≈α
– Legame tra coppia M e velocità angolare Ω:

– La shear rate è data da:

– Lo sforzo tangenziale:

6 /61
MADS
Lezione 8
2009
 Equazione costitutiva reologica

• Modello dell’esperimento:
– Variabile indipendente: velocità angolare ⇒ (reometro a deformazione imposta)
– Variabile dipendente misurata: Coppia ⇒ τ.
• Materiale: Polipropilene a 200°C

o
an
ni
to
w
Ne
to
en
am
rt
po
m
Co

7 /61
MADS
Lezione 8
2009
 Equazione costitutiva reologica

• Se dividiamo tutta la relazione per che è una grandezza deterministica abbiamo:

• Come usualmente fanno i reologi, diagrammiamo questi dati su scale logaritmiche:

Plateau Newtoniano

Zo
na
a
le
gg
e
di
po
te
nz
a

8 /61
MADS
Lezione 8
2009
 Equazione costitutiva reologica

• Una dipendenza della viscosità dalla shear rate di questo tipo è ben descritta dal
modello di Carreau-Yasuda:

– Parametri:
• Valore di viscosità del plateau Newtoniano η0;
• Tempo caratteristico del materiale λ;
• Pendenza della legge di potenza n−1;
• Ampiezza della zona di transizione tra i due comportamenti a.

• Il modello è non lineare nei parametri.

• Obiettivo: Stimare il valore dei parametri sulla base dei dati sperimentali ottenuti.
– Eventualmente suggerire lo svolgimento di nuovi esperimenti.

9 /61
MADS
Lezione 8
2009
 Modelli non lineari nei parametri

• La stima che abbiamo imparato ad eseguire era basata sullo stimatore della MV e si
limitava al caso di un modello del processo lineare nei parametri.

• Come si modificano le cose nel caso non lineare?

– Il modello del processo è NON lineare g(θ,x)

• IPOTESI
θ

• La funzione Verosimiglianza: non cambia

N
! N
! 1 1 (yi − g(xi , θ))2
fY = fYi = √ exp[− ]
i=1 i=1
2πσ 2 σ 2

10 /61
MADS
Lezione 8
2009
 STIMA PUNTUALE DI PARAMETRI
ESEMPIO CINETICA NON ISOTERMA
• Il modello non lineare potrebbe essere linearizzabile con trasformazioni non lineari

• Consideriamo la reazione chimica A+B→C in fase liquida con cinetica che dipende
dalla sola T (r=k0e-E/RT).
n
! E
φ(θ) = (ri − k0 e − RT 2
)
i=1

• Il problema è diventato non lineare nei parametri. Si perverrà ad un sistema di 2

equazioni non lineari in 2 incognite.

• C’è però da notare che in questo caso la nonlinearità è linearizzabile con una
trasformazione nonlineare.

11 /61
MADS
Lezione 8
2009
 STIMA PUNTUALE DI PARAMETRI
ESEMPIO CINETICA NON ISOTERMA
• Se infatti facciamo il logaritmo della velocità di reazione otteniamo un modello di
processo lineare nei parametri.

• ATTENZIONE: cosa succede al modello dell’esperimento

• Il risultato dell’esperimento trasformato con il logaritmo non ha più lo stesso tipo di

VA dell’errore sperimentale.

• Il suo tipo deriva dalla trasformazione

12 /61
MADS
Lezione 8
2009
 STIMA PUNTUALE DI PARAMETRI
ESEMPIO CINETICA NON ISOTERMA
• La MV si complica notevolmente data la maggiore complicazione della congiunta.
Possiamo procedere con i MQ ma sappiamo che le incertezze sulla stima cresceranno

• Se procediamo con i MQ senza riflettere richiamo di non avere buoni risultati

• La trasformazione di r altera l’errore

L’errore si amplifica per r piccoli e si riduce

per r grandi. Se ricordiamo la definizione
di Gauss del metodo dei minimi quadrati ci
rendiamo conto di dover introdurre dei
pesi per compensare le diverse
accuratezze.

13 /61
MADS
Lezione 8
2009
 STIMA PUNTUALE DI PARAMETRI
ESEMPIO CINETICA NON ISOTERMA
• I termini affetti da minor errore devono pesare di più nella minimizzazione:

• In questo caso è facile scegliere i pesi, basta usare l’inverso della derivata della
trasformazione. Dato che i pesi non possono essere grandezze negative si eleva al
quadrato l’inverso:

• Questo è un esempio di stima ottenuta con i Minimi Quadrati Pesati

14 /61
MADS
Lezione 8
2009
 Regressione non lineare - Introduzione

• Nel seguito saranno introdotti alcuni concetti elementari sulla regressione non lineare

• Il modello in esame è un modello linearizzabile

• Si effettuerà prima la regressione linearizzata, e in seguito la procedura non lineare

rigorosa,
– Si intende mostrare i limiti della linearizzazione e mettere in evidenza le differenze
significative tra i risultati dei due approcci

• Saranno infine dati dei cenni teorici sugli algoritmi matematici sfruttati nella
regressione non lineare

15 /61
MADS
Lezione 8
2009
 Regressione linearizzata - Esempio

• Reazione di interesse biologico Il modello usato per

descrivere la dipendenza
della velocità di reazione
dalla concentrazione della
specie chimica è di tipo
Monod

µS
r=
K +S

• I parametri da stimare
nel modello sono μ e K

• È chiaramente un
modello non lineare nei
parametri

16 /61
MADS
Lezione 8
2009
 Regressione linearizzata - Esempio

• Una strada percorribile è una linearizzazione del modello

1 1 K1
= +
r µ µS
• In questo modo è possibile ricondurre il modello ad una forma lineare

z = β0 + β1 f
dove

17 /61
MADS
Lezione 8
2009
 Regressione linearizzata con Excel

• È possibile eseguire la trasformazione delle variabili in maniera molto semplice con

Excel
1. Selezionare con il mouse la cella C2
2. Nella finestra di input di Excel digitare: “=1/” e selezionare la cella A2 (dovrebbe
automaticamente apparire nella finestra di dialogo). Premere enter. In questo modo
dovrebbe essere eseguita l’operazione C2=1/A2
3. Una volta eseguita questa operazione per la cella C2 è possibile ripeterla per tutte le
altre celle: copiare il contenuto della cella C2 e “incollarla” nelle celle in basso: Excel
automaticamente esegue l’operazione per la riga corrispondente
4. Ripetere a questo punto l’operazione per calcolare l’inverso della velocità di reazione
(da mettere in colonna D)

18 /61
MADS
Lezione 8
2009
 Regressione linearizzata con Excel

• Lo schermo di Excel si dovrebbe presentarsi nella seguente forma:

19 /61
MADS
Lezione 8
2009
 Regressione linearizzata con Excel

• Possiamo ora eseguire la regressione lineare sulla colonna C e la colonna D

• Eseguendo i soliti comandi

Attenzione:
Si riporta anche il grafico dei
residui

20 /61
MADS
Lezione 8
2009
 Regressione linearizzata con Excel

• Come appaiono i risultati

della regressione

• D a i c o e f fi c i e n t i d e l l a
regressione è possibile
valutare i parametri del
modello:

21 /61
MADS
Lezione 8
2009
 Regressione linearizzata con Excel

• Il grafico dei residui da delle prime informazioni abbastanza interessanti: la

dispersione dei residui cresce all’aumentare di 1/S

Variabile X 1 Tracciato dei residui

0,00500
0,00375
0,00250
0,00125
Residui

0
-0,00125
-0,00250
-0,00375
-0,00500
0 12,5 25,0 37,5 50,0
Variabile X 1

• Ricordiamo che:

22 /61
MADS
Lezione 8
2009
 Regressione linearizzata con Excel

• Ricordiamo che la trasformazione non lineare implica una variazione dell’incertezza al

variare della variabile regressore

1/r

Le incertezze a bassi
valori di r sono
amplificate
Sono invece
attenuate ad alti
valori di r

23 /61
MADS
Lezione 8
2009
 Regressione linearizzata con Excel

• Un’ulteriore conferma dei limiti della linearizzazione può essere ottenuta

confrontando i dati sperimentali con i valori previsti dal modello
• A questo scopo eseguiamo i seguenti passi:
1. Selezionare la colonna delle Y previste dall’output di regressione:

24 /61
MADS
Lezione 8
2009
 Regressione linearizzata con Excel

2. Copiare la colonna in un altro punto della cartella (per esempio, da P2 in giù)

3. Calcolare in un’altra colonna i reciproci delle Y predette (tali valori rappresentano le
predizioni corrette delle velocità di reazione)
4. Selezionare il grafico dove sono rappresentati i punti sperimentali
5. Dal menù selezionare: Grafico Aggiungi dati
6. Si aprirà una nuova finestra in cui definire i nuovi punti da aggiungere al grafico.
Selezionare la colonna delle predizioni della velocità di reazione

250
La linearizzazione
200
fallisce in maniera
150 evidente la
100
predizione del
comportamento ad
50
alti valori di s
0
0 0.2 0.4 0.6 0.8 1 1.2

25 /61
MADS
Lezione 8
2009
 Regressione non lineare

• Per avere una stima più affidabile dei parametri del modello si dovrebbe rinunciare alla
linearizzazione e affrontare la regressione non lineare
• Dal punto di vista matematico il problema è analogo al caso lineare:
– È necessario determinare i valori dei parametri che rendano minima la distanza tra
osservazioni e predizioni del modello
– Nel caso della regressione lineare la ricerca del minimo della funzione obiettivo nei
parametri ammette soluzione analitica e dipende linearmente dalle osservazioni
• Nel caso di un modello non lineare (nei parametri) la procedura è assolutamente
analoga: si può definire la funzione somma quadratica degli errori
! n
• Nel caso in esame φ(θ) = (yi − f (xi , θ))2
i=1
! n
µSi 2
φ(θ) = (ri − )
i=1
K + S i

26 /61
MADS
Lezione 8
2009
 Modelli non lineari nei parametri

• In generale con applicando il procedimento appena visto si ottiene una stima di primo
tentativo.

• Per applicare la MV dovremo procedere sul modello non linearizzato.

• Ciò che dovrà cambiare è la tecnica con cui si perviene alla stima in quanto non è più
possibile operare analiticamente la minimizzazione.

• Siamo costretti ad eseguire la minimizzazione numericamente.

27 /61
MADS
Lezione 8
2009
 ALGORITMI DI MINIMIZZAZIONE

• Scopo: determinare il minimo di una funzione non lineare di più variabili.

• Il tipo di funzione da studiare è dettato dalla funzione obiettivo ridotta (quella che
contiene solo i parametri del modello del processo) ed in genere è del tipo somma di
scarti quadratici.

• Metodi Numerici:
– Metodi diretti (è necessaria solo la conoscenza di Φ)
– Metodi del gradiente (serve la conoscenza di Φ e del suo gradiente)
– Metodi che richiedono la conoscenza del gradiente e dell’Hessiano della funzione obiettivo.

28 /61
MADS
Lezione 8
2009
 Regressione non lineare con Excel

• Dobbiamo cercare quindi di minimizzare la funzione obiettivo rispetto ai parametri

ignoti.

• Per tale scopo è necessario usare un altro strumento di Excel:il menu Risolutore

• Di seguito saranno riportati i passi per eseguire una regressione non lineare con Excel
come ricerca del minimo della funzione obiettivo

29 /61
MADS
Lezione 8
2009
 Regressione non lineare con Excel

1. I dati da cui partire sono foglio del

file puromicina.xls

4. Selezionare alcune celle su cui

scrivere i parametri µ e K. È
necessario assegnare dei valori di
primo tentativo. Si possono inserire
dei valori a caso, la cosa migliore è
inserire i valori ottenuti dalla
regressione linearizzata

30 /61
MADS
Lezione 8
2009
 Regressione non lineare con Excel

3. Nella colonna C calcolare i valori della

velocità usando i parametri appena
introdotti nelle celle, i dati nella colonna
A secondo il modello non lineare a
disposizione

• Attenzione:
• La formula è meno banale da
implementare dei casi precedenti: i
termini B15:B16 devono rimanere
costanti e l’indice di A deve variare
lungo la colonna.
• Non si può usare un semplice copia ed
incolla B15

B16

31 /61
MADS
Lezione 8
2009
 Regressione non lineare con Excel

4. Calcolare la colonna D come differenza tra le colonne C e B.

Valutare poi i quadrati dei risultati e metterli nella colonna F

32 /61
MADS
Lezione 8
2009
 Regressione non lineare con Excel

5. Inserire una cella (per esempio la cella E15) in cui sommare tutti gli elementi della
colonna E
Tale cella rappresenta la nostra funzione obiettivo

33 /61
MADS
Lezione 8
2009
 Regressione non lineare con Excel

• Lo scopo è minimizzare la cella E15 variando i valori B15 e B16

• A tale scopo aprire la componente: Strumenti Risolutore
• Si apre una finestra in cui si deve selezionare la cella obiettivo (E15) le celle che
devono essere variate (B15 e B16).
• Ricordarsi di scegliere l’opzione “Min”

34 /61
MADS
Lezione 8
2009
 Regressione non lineare con Excel

• Una volta eseguito il risolutore i risultati della finestra di Excel cambiano

Da notare che i
valori dei parametri
sono cambiati
rispetto al caso
linearizzato

35 /61
MADS
Lezione 8
2009
 Regressione non lineare con Excel

• Qualche riflessione
1. Se abbiamo la pazienza di confrontare i risultati della regressione con i dati
sperimentali possiamo osservare che i nuovi parametri si adeguano molto meglio ai
punti sperimentali rispetto alla linearizzazione

250

200

150

100

50

0
0 0.2 0.4 0.6 0.8 1 1.2

36 /61
MADS
Lezione 8
2009
 Regressione non lineare con Excel

• Provare a vedere cosa succede se si assegna come valore di primo tentativo i valori µ
= -100 e L = 200.
• I risultati che ottengo dal risolutore sono plausibili oppure no?

• Il ruolo del valore di primo tentativo è importante: i valori forniti dalla

linearizzazione rappresentano una buona scelta

• Nei prossimi lucidi cercheremo di introdurre qualche concetto di teoria che può
aiutare a farci capire i risultati che si sono ottenuti

37 /61
MADS
Lezione 8
2009
 Algoritmi di ottimizzazione

• Si è già visto come la stima dei parametri per il modello non lineare consista nella
ricerca del minimo della funzione obiettivo
• Non abbiamo più la possibilità di una soluzione analitica: il diagramma della funzione
Φ(θ) non sarà più un paraboloide come nel caso della regressione lineare.
• Per esempio, in un caso scalare (θ Є R) si può avere:

Caso Lineare Caso Non Lineare

38 /61
MADS
Lezione 8
2009
 Algoritmi di ottimizzazione

• Si possono avere casi più complicati con la presenza di più minimi nella funzione
obiettivo:

Minimo relativo

Minimo Assoluto

• In questo caso è necessario individuare il minimo assoluto

39 /61
MADS
Lezione 8
2009
 Algoritmi di ottimizzazione

• La ricerca del minimo di una funzione obiettivo è effettuata per via

numerica utilizzando metodi iterativi:
• Si parte da un valore di primo tentativo θ0 e si genera una Le stime θ
successione di valori ottenute per
un modello
θ0, θ1, θ2, ... , θn non lineare
non sono
più variabili
• Che si spera converga verso il minimo
aleatorie di
• Quando i valori della successione θi non cambiano più in modo tipo
significativo (ovvero sono uguali a meno di una fissata tolleranza) il Gaussiano
metodo è giunto a convergenza
• Non è garantito che si sia giunti al minimo assoluto!!! (può essere che si è
in presenza di un minimo relativo)

40 /61
MADS
Lezione 8
2009
 Algoritmi di ottimizzazione – Metodi diretti

• I metodi diretti sono i più semplici da implementare.

• Si fissa una griglia nello spazio dei parametri e si cerca nell’intorno del valore i-esimo
della successione quale è il punto dell’intorno che abbia valore minimo.

Esempio: funzione obiettivo a due parametri

θ0 valore di primo tentativo

θ1 valore in cui la funzione assume

valore minimo nell’intorno di θ0
20
15
10
θ2 valore in cui la funzione assume
5 valore minimo nell’intorno di θ1
Curve di isolivello

41 /61
MADS
Lezione 8
2009
 Algoritmi di ottimizzazione – Metodi diretti

• Caratteristiche dei metodi diretti:

• Vantaggi
– È necessaria la conoscenza della sola funzione obiettivo.
– Risulta molto semplice da implementare

• Svantaggi
– Può rivelarsi molto oneroso dal punto di vista computazionale: per ogni iterazione è
necessaria la valutazione della funzione in (3n-1) punti, dove n è la dimensione dello spazio
delle variabili di stato (nel caso in esame n =2).

42 /61
MADS
Lezione 8
2009
 ALGORITMI DI MINIMIZZAZIONE

RIPETIZIONE DI ANALISI
• Che cosa è il gradiente di una funzione?

• Il gradiente di una funzione f(θ) è il vettore g delle sue derivate prime.

• Il gradiente g di una funzione f indica la direzione lungo la quale la funzione cresce più
rapidamente. Perciò –g è la direzione lungo cui la funzione diminuisce più
velocemente.

43 /61
MADS
Lezione 8
2009
 ALGORITMI DI MINIMIZZAZIONE

RIPETIZIONE DI ANALISI
• Che cosa è l’Hessiano di una funzione?

• L’Hessiano di una funzione f(θ) è la matrice H delle sue derivate seconde.

• L’Hessiano è una matrice simmetrica.

44 /61
MADS
Lezione 8
2009
 ALGORITMI DI MINIMIZZAZIONE

RIPETIZIONE DI ANALISI
• Condizioni necessaria e sufficiente affinché θ* sia un minimo:

• Condizione NECESSARIA: g(θ* )=0

• Condizione SUFFICIENTE: H(θ*) deve essere positiva definita.

METODI NUMERICI ITERATIVI

• Si parte da una stima di primo tentativo e si itera in modo da avvicinarsi al minimo
assoluto.

45 /61
MADS
Lezione 8
2009
 ALGORITMI DI MINIMIZZAZIONE

Problemi storici:
– Scelta della direzione: il gradiente.
– In vicinanza del minimo si usa la curvatura della funzione (Hessiano) per accelerare la
convergenza
– Problemi di occupazione di memoria.
– MOLTI METODI NON CONVERGEVANO (i problemi nascono quando si è lontani dalla
soluzione)

• I metodi falliscono quando si hanno valli strette

46 /61
MADS
Lezione 8
2009
 ALGORITMI DI MINIMIZZAZIONE

• Non esiste il metodo migliore per ogni problema di minimizzazione.

• Un buon programma deve sfruttare più metodi selezionati tra quelli adatti a risolvere
un particolare problema.

• La scelta dell’algoritmo da utilizzare è legata a:

– Robustezza:
• deve risolvere problemi con valli molto strette.
• Deve trovare il minimo assoluto
– Accuratezza
– Efficienza
• Deve convergere velocemente al minimo assoluto
– Scarsa occupazione di memoria

47 /61
MADS
Lezione 8
2009
 ALGORITMI DI MINIMIZZAZIONE

• Nei problemi di regressione non lineare

– Il numero delle variabili è ridotto
– Si è in presenza di valli strette
– Il minimo assoluto deve essere localizzato accuratamente
– La funzione da minimizzare è una somma di quadrati
– Si può essere in presenza di più minimi.

METODI

• Metodi che richiedono l’uso del gradiente

• Metodi che richiedono gradiente ed Hessiano

48 /61
MADS
Lezione 8
2009
 Algoritmi di ottimizzazione – Metodi del gradiente

• La ricerca del minimo risulterebbe meno onerosa se si avessero informazioni sulla

“direzione” lungo cui muoversi nello spazio dei parametri.

θi+1 = θi + ci
dove

Lungo la direzione
ci = λi v i fissata il problema
diventa di natura
scalare

Il valore λ può quindi

Modulo del Direzione del essere determinato con
passo i-esimo passo i-esimo molta accuratezza

49 /61
MADS
Lezione 8
2009
 Algoritmi di ottimizzazione – Metodi del gradiente

• Il gradiente della funzione obiettivo

∂φ
|θi
∂θ
• Rappresenta la direzione di massima crescita della funzione nello spazio delle variabili
θ.
• Quindi, per procedere verso il minimo si deve comunque scegliere una qualunque
direzione opposta alla direzione del gradiente

50 /61
MADS
Lezione 8
2009
 Algoritmi di ottimizzazione – Metodi del gradiente

• La direzione vi può essere scritta nella seguente forma:

∂φ
v i = −Ri |θ
∂θ i
• Il tensore R è un tensore definito positivo che “modula” opportunamente la
direzione di θi.

• Il vettore v ha un ruolo più importante di λ. Infatti, una volta scelto v si può scegliere
λ con grandissima precisione

51 /61
MADS
Lezione 8
2009
 Metodi del Gradiente – Metodo Massima Pendenza

• In inglese: Steepest Descent Method

• Nel metodo della massima pendenza si adotta R = I (matrice identità) e λ fissato (da
notare che sarà spesso necessario adottare valori piccoli di λ per problemi di
stabilità). Il metodo si traduce quindi nella formula:

∂φ
θi+1 = θi − λ |θi
∂θ
• Vantaggi:
– Molto semplice da implementare.

• Svantaggi:
– E' estremamente lento nella convergenza ed instabile.

52 /61
MADS
Lezione 8
2009
 Metodi del Gradiente – Metodo di Newton-Raphson

• Il metodo della massima pendenza può essere migliorato con una opportuna scelta
della matrice R.

• È possibile approssimare la funzione obiettivo con un’altra funzione il cui minimo è

molto più semplice da calcolare.

• Per semplicità si incominci a considerare un caso scalare e si sviluppi la funzione

obiettivo in serie di Taylor intorno al punto generico θi delle iterazioni:

∂φ 1 ∂2φ
φ(θ) ≈ Q(θ) = φ(θi ) + |θi (θ − θi ) + |θ (θ − θ )2
∂θ 2 ∂θ2 i i

53 /61
MADS
Lezione 8
2009
 Metodi del Gradiente – Metodo di Newton-Raphson

• Dal punto di vista grafico, si approssima la funzione con una curva quadratica passante
per θi:

La curva Q(θ) è la
quadratica che approssima
meglio la funzione in θ0

Il nuovo valore di tentativo

θ1 è il valore in cui Q(θ)
assume valore minimo

54 /61
MADS
Lezione 8
2009
 Metodi del Gradiente – Metodo di Newton-Raphson

• Per trovare il minimo, si può derivare la Q(θ) rispetto a θ:

∂Q ∂φ ∂2φ
= |θi + 2 |θi (θ − θi ) = 0
∂θ ∂θ ∂θ

• Da cui, con semplici passaggi, si perviene al valore θi+1 della successione

1 ∂φ
θi+1 = θi − ∂2φ
· |θi
∂θ
∂θ 2 |θi

55 /61
MADS
Lezione 8
2009
 Metodi del Gradiente – Metodo di Newton-Raphson

• Il caso precedente può essere concettualmente esteso senza problemi al caso

vettoriale:
T
∂φ
θi+1 = θi − H−1
θi ·
∂θ θi

• con H indichiamo l’Hessiano della funzione Φ

56 /61
MADS
Lezione 8
2009
 ALGORITMI DI MINIMIZZAZIONE
Metodo di Newton
• Vantaggi del metodo di Newton
– Quando converge lo fa molto rapidamente
– Se l’Hessiano è positivo definito la funzione diminuisce ad ogni iterazione.

• Svantaggi del metodo di Newton

– Il metodo va in crisi quando l’Hessiano non è positivo definito
– Il metodo può non convergere
– Il metodo non è robusto
– Ad ogni iterazione deve essere calcolato l’Hessiano
• N(N+1)/2 valutazioni di funzioni
– Ad ogni iterazione deve essere risolto un sistema di equazioni lineari

57 /61
MADS
Lezione 8
2009
 • Varianti del metodo di Newton vettoriale
• Metodi di Newton modificato:
– L’Hessiano viene calcolato (numericamente o analiticamente) ad ogni iterazione
– Viene risolto un sistema lineare ad ogni iterazione
– L’Hessiano viene modificato in modo da evitare i problemi

• Metodi di quasi Newton:

– L’Hessiano viene aggiornato ad ogni iterazione sommandogli una opportuna matrice.
– Viene evitata la soluzione di un sistema di equazioni lineari
– L’Hessiano viene modificato in modo da evitare eventuali problemi.

58 /61
MADS
Lezione 8
2009
 Metodi del Gradiente – Metodo LM

• Per ovviare al problema della gestione dell’eventualità di matrici malcondizionate la

matrice H può essere modificata, con l’introduzione di un opportuno fattore di
condizionamento k:

• Metodo di Levenberg (1944)

Q = H + kI R = Q−1
• Metodo di Marquardt (1963)

Q = H + kD R = Q−1
– dove D è una matrice diagonale

59 /61
MADS
Lezione 8
2009
 Riferimenti bibliografici di interesse

• L’implementazione della regressione non lineare con Excel è ispirata dal libro
– Introduction to Chemical Engineering Computing, B. Finlayson,
Wiley & Sons, New Jersey, 2006

• Ottimi libri di riferimento per la regressione non lineare sono:

• Un testo un po’ datato ma tuttora valido e di lettura relativamente semplice è:

– Nonlinear parameter Estimation, Bard Y., Academic Press, 1974

• Un ottimo testo, anche se non di facile lettura è il seguente testo:

– Nonlinear Regression Analysis and Its Applications, Bates D. and
Watts D., Wiley & Sons, New York, 1988

60 /61
MADS
Lezione 8
2009
 Sommario

• Modelli non lineari linearizzabili

– Attenzione ad usare i MQ (i risultati sono buoni come primo tentativo)
– Meglio MQP

• Ricerca del minimo (o massimo) per via iterativa

– Codici numerici
– Problemi di convergenza
– Problema del primo tentativo
– Necessità di tentare molti primi tentativi alla ricerca del minimo assoluto

61 /61
MADS
Lezione 8
2009