VALIDAZIONE DEL MODELLO

Validazione del Modello

Non sufficiente stimare il vettore per dichiarare concluso il processo di identificazione. E necessario ottenere una misura della sua affidabilit Lultima tappa del processo, la validazione, consiste nel: decidere se il modello sufficientemente accurato per lapplicazione di interesse determinare quanto il modello lontano dal sistema reale (valutazione dellincertezza introdotta dal modello) determinare se il modello e i dati sono consistenti con lipotesi sulla struttura del modello

Validazione del Modello

Gli obiettivi precedenti sono parzialmente sovrapponibili. Tuttavia un punto fondamentale del processo di validazione

lutilizzo di dati non utilizzati durante il processo di stima dei parametri (validation, o checking, o testing data set)

Validazione del Modello

Valutazione dellaccuratezza del modello La via pi ovvia e pragmatica per valutare laccuratezza del modello nel riprodurre i dati di valutazione lanalisi visiva dei segnali di uscita reale e stimato

Validazione del Modello

Determinare quanto il modello lontano dal sistema reale Tale punto probabilmente il pi complicato del processo di identificazione e viene talvolta ignorato. Fissata la struttura del modello, si tratta di valutare quanto i disturbi (stocastici) influenzano le prestazioni del modello

tenendo conto del fatto che

N (t ) = y (t ) y (t t 1) (t )

con rumore bianco, un utile criterio di validazione la valutazione della varianza 2 dellerrore di predizione ottenuto con il vettore calcolato con gli N campioni a disposizione

per grandi valori di N, assumendo la distribuzione di gaussiana, possibile dimostrare che:

principio di parsimonia dove d=n nel caso di modelli MA

2 2

d E (1 + ) N con d = dim( )

[ ]

si dimostra inoltre che una stima della varianza di data da:

1 = N d
2

t = n +1

(t ) 2

STIMA DELLORDINE DEL MODELLO

per scegliere lordine corretto del modello si procede per tentativi utilizzando opportuni parametri di valutazione che consentono di confrontare modelli di ordine diverso bench ci sia concettualmente diverso dalla validazione del modello, che riguarda la capacit del modello di descrivere il processo (in funzione dellutilizzo del modello), i due problemi interagiscono e sono spesso basati su criteri comuni: se la validazione fallisce bisogna riconsiderare il problema a partire dalla stima dellordine (o persino dalla scelta degli esperimenti, dei dati etc)

Singolarit della matrice dei momenti

consideriamo un modello ARX di ordine n, un intero k>0 (indice che descrive il variare dellordine del modello) e la matrice di dimensioni N*(2k+1) che contiene i dati di I/O H*k=[Hk(y) Hk(u) yk ] se sono rispettate le condizioni di identificabilit ed e(t)=0 si ha: rank H*k=2k+1 per k<n rank H*k=2k per k=n dove n lordine corretto del modello quindi possibile considerare la sequenza delle matrici dei momenti di secondo ordine S1, S2, . . .,Sn-1,Sn con Sk=H*kTH*k e valutarne la singolarit la prima matrice singolare definisce lordine corretto del modello la presenza del rumore porta a nonsingolarit anche per k>=n

si considera quindi la quantit: sk=det(Sk)/(N det HkTHk) se N abbastanza grande si osserva una sequenza di valori decrescente allaumentare di k seguita da una stabilizzazione una volta che si raggiunto lordine corretto questo criterio pu essere utilizzato per determinare lordine del sistema prima di procedere alla stima del vettore di parametri si dimostra che sk coincide con lindice J() per il modello di ordine k determinato con il metodo dei minimi quadrati

FPE Criterion
Un altro criterio per la stima dellordine del sistema la minimizzazione del valore atteso della varianza dellerrore di predizione. Dalle formule precedenti risulta:

( )
2

N N +d = 2 (t ) = FPE (k ) N ( N d ) t = n +1

dove k lordine del sistema il valore di k da considerare quello per cui si il valore minimo di FPE(k) usando questo criterio la possibilit si sovrastimare lordine non nulla

AIC (Akaike Information criterion)

Il criterio AIC penalizza, allaumentare di d, la diminuizione di J(), AIC=N log[J()]+2d con il termine 2d si penalizzano i modelli di ordine elevato lAIC asintoticamente equivalente allFPE porta a scegliere modelli di ordine pi grande quando N grande

Test di bianchezza del residuo

Il residuo di un modello ARX con lordine stimato correttamente, nell ipotesi che i dati siano stati generati da un sistema ARX, deve essere per ipotesi un rumore bianco la bianchezza del residuo si valuta attraverso la sample covariance (funzione di autocorrelazione del residuo)

1 R ( ) = N = 1,..., M
N

(t ) (t + )
t =1

Test di indipendenza tra residui ed ingressi passati

E un ulteriore test di bianchezza del residuo, si tratta di verificare se (t) e u(t-) sono variabili stocastiche indipendenti (scorrelate), nel contesto stocastico. Una correlazione evidente tra ingresso e residuo sintomatica dellesistenza di dinamiche non modellate 1 N N Si procede calcolando: Ru ( ) = N u (t ) (t + ) t =1 N se ed u sono scorrelate, la variabile N Ru ( ) ha distribuzione gaussiana con valore atteso nullo e varianza:

=
2 u

k =

R (k ) R (k )
u

dove : R ( k ) = E[ (t ) (t k )]

Ru (k ) = E[u(t )u(t k )]

in pratica si deve il grafico della sample covariance al variare di e verificare che stia entro lintervallo di confidenza prescelto (rappresentato da una linea orizzontale perch la varianza non dipende da questo test si usa anche per verificare la correttezza dei ritardi del modello

Il residuo deve essere un rumore bianco

Residuo su dati di identificazione e validazione

Funzionedi Autocorrelazione del residuo (dati identif.) Istogramma Residuo (dati identif.)

Il residuo deve essere incorrelato con tutte le altre variabili

Errore sui dati di validazione

Autocorrelazione errore

Istogramma errore

Lanalisi completa prevede il 4-Plot 4 Plot di un rumore bianco

se il modello ha superato tutti i test di validazione possibile utilizzarlo in simulazione, cio usando come ingresso luscita stimata invece di quella misurata (predizione ad infiniti passi) lanalisi del comportamento in predizione a k passi per k su un set di dati differente da quello usato per sviluppare il modello costituisce quindi un ulteriore ed efficace criterio di validazione

Simulazione a infiniti passi (si utilizzano le stime fornite dal modello):

u(k-1)

ritardi modello ritardi y*(k)

Validazione del Modello

Chi fa sbaglia, e impara

Lordine del modello troppo basso Rimedio: considerare modelli di ordine pi elevato o di classe diversa, o concentrare il funzionamento del modello su bande di frequenza specifiche, attraverso un filtraggio passa-banda dei segnali

Validazione del Modello

Chi fa sbaglia, e impara

Sono stati tralasciati alcuni ingressi che influenzano significativamente luscita Rimedio: riesaminare i principi fisici che regolano il sistema, individuare gli ingressi mancanti, verificare che essi siano misurabili, ed includerli tra gli ingressi del modello Dalla teoria dei controlli automatici, sappiamo che gli ingressi che non possono essere misurati sono disturbi. In tal caso, bisogna accettare lidea che tali disturbi avranno un effetto negativo sulle prestazioni del modello

Validazione del Modello

Chi fa sbaglia, e impara Sono stati trascurati importanti fenomeni non lineari Rimedio: adottare preventivamente trasformazioni non lineari dei segnali di ingresso (cfr. esempio della stufa elettrica) basandosi su considerazioni fisiche. In alternativa, ricorrere a tecniche di identificazione non lineare, quali ad esempio: Sistemi Polinomiali Reti Neurali Sistemi Fuzzy e Neuro-Fuzzy Wavelets