Appunti del corso di

Adabilitá e Diagnostica dei Sistemi Elettrici

Andrea Cavallini, Gian Carlo Montanari
DIE-Universitá di Bologna

viale Risorgimento 2, 40136 Bologna

andrea.cavallini@mail.ing.unibo.it

http://limat.ing.unibo.it

A.A 1999/2000
2
Indice

1 Introduzione 9
2 Calcolo delle probabilitá 11
2.1 Esperimento aleatorio . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
2.2 Eventi e spazi rappresentativi . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
2.3 Algebra degli eventi . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
2.4 Probabilitá . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
2.5 Alcune conseguenze degli assiomi (1)-(3) . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
2.5.1 Probabilitá dell'evento impossibile ( ∅) . . . . . . . . . . . . . . . . . . . . . . . . . 15
2.5.2 Probabilitá di E . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
2.5.3 Probabilitá di E − F = EF . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
2.5.4 Probabilitá di E + F . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16
2.6 Combinazioni di eventi equiprobabili: il campionamento . . . . . . . . . . . . . . . . . . . 18
2.7 La legge dei grandi numeri . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
2.8 Appendice A: Dimostrazione dell'equazione (2.5) . . . . . . . . . . . . . . . . . . . . . . . 23
2.9 Appendice B: Le equazioni del campionamento . . . . . . . . . . . . . . . . . . . . . . . . 24
2.9.1 Campionamento con reintroduzione . . . . . . . . . . . . . . . . . . . . . . . . . . 24
2.9.2 Campionamento senza reintroduzione . . . . . . . . . . . . . . . . . . . . . . . . . 25

3 Indipendenza e dipendenza stocastica 27

3.1 Probabilitá condizionata . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
3.2 Indipendenza stocastica . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28
3.2.1 Chain rule . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
3.2.2 Esempi . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
3.3 Numero di successi in esperimenti ripetuti . . . . . . . . . . . . . . . . . . . . . . . . . . . 31
3.4 Approssimazioni della distribuzione binomiale . . . . . . . . . . . . . . . . . . . . . . . . . 33
3.4.1 Il teorema di deMoivre Laplace . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
3.4.2 Il teorema di Poisson . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34
3.5 Probabilitá totale . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37

4 Variabili aleatorie 39
4.1 Il concetto di variabile aleatoria . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
4.2 Eventi . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40
4.3 Funzioni di distribuzione . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
4.4 Densitá di probabilitá . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44

3
4 INDICE

4.4.1 Classicazione delle VA ed eventi delle VA continue . . . . . . . . . . . . . . . . . 44

4.4.2 Densitá di probabilitá . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46
4.4.3 VA discrete come caso particolare di VA continue . . . . . . . . . . . . . . . . . . . 46
4.4.4 VA miste . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
4.5 Percentili . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
4.6 Trasformazioni lineari . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48
4.7 Funzioni di uso comune . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49
4.7.1 Distribuzione normale (gaussiana) . . . . . . . . . . . . . . . . . . . . . . . . . . . 50
4.7.2 Distribuzione lognormale . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55
4.7.3 Distribuzione di Weibull . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57
4.7.4 Distribuzione esponenziale . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58
4.7.5 Distribuzione chi-quadro . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59
4.7.6 Legge di probabilitá , di Student . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60
4.7.7 La distribuzione F di Snedecor . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61
4.8 Distribuzioni condizionate . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61
4.9 Appendice 1: L'impulso di Dirac e derivata generalizzata . . . . . . . . . . . . . . . . . . 64
4.9.1 Denizione . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64
4.9.2 Derivata di funzioni con discontinuitá . . . . . . . . . . . . . . . . . . . . . . . . . 66
4.10 Appendice 2: Tavole della distribuzione normale . . . . . . . . . . . . . . . . . . . . . . . 67
4.11 Appendice 3: Tavole della distribuzione chi-quadro . . . . . . . . . . . . . . . . . . . . . . 70

5 Variabili aleatorie bivariate 73

5.1 Eventi . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73
5.2 Distribuzione e densitá di probabilitá . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74
5.3 Distribuzioni marginali . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74
5.4 Variabili aleatorie congiuntamente normali . . . . . . . . . . . . . . . . . . . . . . . . . . . 77
5.5 Indipendenza stocastica . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 77
5.6 Alcune funzioni di VA doppie . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 78
5.6.1 Somma di due variabili aleatorie . . . . . . . . . . . . . . . . . . . . . . . . . . . . 78
5.6.2 Dierenza di due VA . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 80
5.6.3 Massimo di due VA . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81
5.6.4 Minimo di due VA . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 82
5.7 Distribuzioni condizionate . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 83
5.7.1 Variabili aleatorie congiuntamente normali . . . . . . . . . . . . . . . . . . . . . . 85

6 Momenti di una variabile aleatoria 87

6.1 Previsione di una variabile aleatoria . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 87
6.1.1 Previsione di una sequenza di dati . . . . . . . . . . . . . . . . . . . . . . . . . . . 87
6.1.2 Comportamento asintotico: il valore atteso e media . . . . . . . . . . . . . . . . . . 88
6.1.3 La probabilitá come valore atteso . . . . . . . . . . . . . . . . . . . . . . . . . . . . 90
6.1.4 Esistenza del valore atteso . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 90
6.1.5 Linearitá del valore atteso . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 91
6.1.6 Altre misure di intensitá . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 91
6.2 Momenti del secondo ordine di VA univariate: varianza . . . . . . . . . . . . . . . . . . . 92
INDICE 5

6.3 Il lemma di Tchebyche . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 94

6.4 Altre misure di dispersione . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 96
6.5 Momenti di ordine superiore a 2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 96
6.6 Momenti del secondo ordine di VA doppie: covarianza . . . . . . . . . . . . . . . . . . . . 97
6.6.1 Trasformazioni lineari . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 100
6.7 Il teorema del limite centrale . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 102
6.8 Valore atteso e varianza condizionati . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 104

7 Adabilitá 107
7.1 Generalitá sul guasto . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 107
7.2 Sistemi non riparabili . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 109
7.2.1 Funzioni adabilistiche empiriche . . . . . . . . . . . . . . . . . . . . . . . . . . . 111
7.2.2 Il tasso di guasto istantaneo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 112
7.2.3 Parametri adabilistici . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 114
7.3 Tasso di guasto per componenti elettronici . . . . . . . . . . . . . . . . . . . . . . . . . . . 115
7.4 Generalitá, concetto di missione . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 118
7.5 Il diagramma adabilistico . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 118
7.6 Strutture semplici . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 120
7.6.1 Sistemi di tipo serie . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 120
7.6.2 Sistemi di tipo parallelo (ridondanza) . . . . . . . . . . . . . . . . . . . . . . . . . 120
7.6.3 Combinazione di strutture tipo serie e parallelo . . . . . . . . . . . . . . . . . . . . 121
7.6.4 Inuenza del modo di guasto dei dispositivi . . . . . . . . . . . . . . . . . . . . . . 121
7.7 Strutture complesse . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 124
7.7.1 Il metodo della probabilitá totale . . . . . . . . . . . . . . . . . . . . . . . . . . . . 124
7.7.2 Il metodo dello spazio degli stati . . . . . . . . . . . . . . . . . . . . . . . . . . . . 125

8 Disponibilitá 127
8.1 Denizioni . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 127
8.1.1 Analisi con le catene di Markov . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 128
8.2 Analisi combinatoria . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 129
8.2.1 Frequenza . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 129
8.3 Analisi di sistemi serie/parallelo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 132
8.3.1 Sistemi con dispositivi a guasti indipendenti . . . . . . . . . . . . . . . . . . . . . . 132
8.3.2 Sistemi con dispositivi a guasti dipendenti . . . . . . . . . . . . . . . . . . . . . . . 135
8.4 Ridondanza . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 137
8.5 Analisi adabilistica di un sistema di distribuzione radiale . . . . . . . . . . . . . . . . . . 140
8.5.1 Considerazioni generali . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 140
8.5.2 Criterio di guasto . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 142
8.5.3 La linea di alimentazione . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 144
8.5.4 Sistema radiale semplice (1) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 144
8.5.5 Impianti con due linee di alimentazione: generalitá . . . . . . . . . . . . . . . . . . 148
8.5.6 Sistema radiale con selezione della linea di alimentazione esterna all'impianto. . . . 150
8.5.7 Sistema radiale con selezione della linea di alimentazione alla sbarra di media
tensione dell'utente. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 151
8.5.8 Sistema radiale con selezione della linea di alimentazione al secondario del trasfor-
matore. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 154
6 INDICE

9 Metodi empirici 157

9.1 Stima empirica delle leggi di probabilitá . . . . . . . . . . . . . . . . . . . . . . . . . . . . 157
9.2 Percentili . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 162
9.3 Carte probabilistiche . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 162
9.4 Stima empirica di momenti e percentili . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 164
9.4.1 Valore atteso . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 164
9.4.2 Varianza . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 165
9.4.3 Covarianza e correlazione empiriche . . . . . . . . . . . . . . . . . . . . . . . . . . 165
9.4.4 Momenti . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 166

10 Stime puntuali 167

10.1 Introduzione . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 167
10.2 Proprietá degli stimatori . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 167
10.3 Il metodo dei momenti . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 171
10.4 Principio di massima verosimiglianza, ML . . . . . . . . . . . . . . . . . . . . . . . . . . . 173
10.4.1 Proprietá dello stimatore ML . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 174
10.4.2 Stima ML della probabilitá di un evento . . . . . . . . . . . . . . . . . . . . . . . . 175
10.4.3 Stima dei parametri di una distribuzione normale . . . . . . . . . . . . . . . . . . . 176
10.4.4 Stima ML del tasso di guasto . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 176
10.4.5 Stima dei parametri di una distribuzione di Weibull . . . . . . . . . . . . . . . . . 178

11 Stime per intervalli 181

11.1 Introduzione . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 181
11.2 Quantitá pivotali . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 181
11.2.1 Il metodo della quantitá pivotale . . . . . . . . . . . . . . . . . . . . . . . . . . . . 184
11.3 Campionamento da una distribuzione normale . . . . . . . . . . . . . . . . . . . . . . . . . 185
11.3.1 Calcolo degli intervalli di condenza per la media . . . . . . . . . . . . . . . . . . . 185
11.3.2 Varianza . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 187
11.3.3 Rapporto di varianze . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 187
11.4 Il metodo statistico . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 188
11.5 Intervallo di condenza per la probabilitá . . . . . . . . . . . . . . . . . . . . . . . . . . . 190
11.5.1 Calcolo mediante l'approssimazione normale . . . . . . . . . . . . . . . . . . . . . . 192
11.6 Intervallo di condenza per λ di una distribuzione esponenziale . . . . . . . . . . . . . . . 193

12 Verica delle ipotesi 197

12.1 Introduzione . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 197
12.2 Ipotesi parametriche . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 197
12.2.1 Esempio di test per la media . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 200
12.2.2 Ipotesi semplici e composte . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 201
12.3 Test bidirezionali . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 204
12.3.1 Intervalli di condenza . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 205
12.4 Test unidirezionali . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 206
12.4.1 Intervalli di condenza . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 206
12.5 Test sulla media . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 207
INDICE 7

12.5.1 Test bidirezionale . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 207

12.5.2 Test unidirezionali . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 209
12.6 Test sulla varianza per distribuzioni normali . . . . . . . . . . . . . . . . . . . . . . . . . . 210
12.7 Test sul rapporto delle varianze per distribuzioni normali . . . . . . . . . . . . . . . . . . 210
12.7.1 Test bidirezionali . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 210
12.7.2 Test unidirezionali . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 211
12.8 Test su due medie . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 211
12.8.1 Varianze identiche . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 211
12.8.2 Varianze diverse . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 212
12.9 Test bilaterali . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 213
12.9.1 Test bilaterale sulla probabilitá . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 214
12.9.2 Test bilaterale su M T T F . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 215
12.9.3 Test sequenziali . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 217
12.10Test non parametrici . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 218
12.10.1 Test di adattamendo del chi quadrato . . . . . . . . . . . . . . . . . . . . . . . . . 218

13 Stime lineari 221

13.1 Introduzione . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 221
13.2 Regressione lineare . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 222
13.2.1 Stima mediante il principio ML . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 223
13.2.2 Stima mediante il metodo dei minimi quadrati (LS) . . . . . . . . . . . . . . . . . 224
13.3 Intervalli di condenza . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 225
220 INDICE
Capitolo 13
Stime lineari

13.1 Introduzione
Si supponga di applicare una tensione variabile ad un resistore non lineare. Per ogni livello di tensione
sia misurata la corrispondente corrente. In assenza di errori di misura i valori misurati (vk , ik ) di tensione
e corrente ai morsetti del resistore descriveranno la curva R(v), cioé la caratteristica del resistore non-
lineare.
Quando al segnale misurato, cioé la corrente, si aggiunge il rumore di misura (imprescindibilmente as-
sociato ad ogni misura) le cose cambiano notevolmente. Infatti, supponendo che la tensione sia nota
senza imprecisioni, ad ogni livello vk della tensione potranno corrispondere diversi valori di corrente, a
seconda del valore assunto dal rumore in ogni misura. Il problema della regressione é quello di determi-
nare con la maggiore precisione possibile la caratteristica del resistore a partire da dati aetti da rumore
sperimentale.
Piú in generale, lo schema sistema studiato puó essere quello illustrato in gura 13.1: la VA x (o il segnale
deterministico x), osservabile mediante un opportuno sistema di misura avente errore trascurabile, agisce
come ingresso ad un sistema caratterizzato mediante un opportuno operatore η(). Il sistema produce una
uscita w, non direttamente osservabile in quanto, per eetto della catena di misura, un rumore aleatorio
v si somma a w producendo la variabile misurata y . Compito della regressione é quello di stimare η() a
partire dalle coppie ingresso/uscita, (xi , yi ), ottenute da misura eettuate sul sistema.
Si noti che, nella presentazione fatta, l'errore di misura deve essere concentrato esclusivamente sull'uscita.
Ció dipende dal fatto che le tecniche di regressione sono nate nell'ambito statistico per spiegare relazioni
del tipo peso/altezza di una persona. Poiché il peso non é spiegabile esclusivamente sulla base dell'altezza
della persona, si utilizza una componente additiva stocastica ( v ), per modellare l'eetto di ingressi non

v
variabili x η() w y
osservabili

Figura 13.1: Modello del sistema osservato per l'analisi di regressione.

221
222 CAPITOLO 13. STIME LINEARI

η(x)=E(y|x=x)
punti
sperimentali
f(y|x=x)

Figura 13.2: Principio dell'analisi di regressione per sistemi algebrici non lineari.

utilizzati nel modello (ad esempio, stato sico, atteggiamento culturale verso il cibo, religione, regione
dove vive la persona, ecc.).
Per gli scopi della trattazione in oggetto il sistema incognito sará un sistema puramente algebrico. Sotto
queste condizioni, la dierenza fra i livelli delle uscite misurati per identici valori degli ingressi é da
imputarsi esclusivamente all'eetto del rumore (e non dello stato interno come accadrebbe in un sistema
dinamico). Quindi, la caratteristica del dispositivo puó essere rappresentata mediante una funzione
deterministica η(x):

y = η(x) + v (13.1)
Assumendo che il rumore abbia media nulla e sia indipendente dal livello dell'ingresso, allora:

E[y | x] = η(x) + E[v | x] = η(x) + E[v] = η(x) (13.2)

Si evince pertanto che la migliore stima del comportamento del sistema é data dal calcolo del valore
atteso condizionato E[y | x] (si veda la gura 13.2).
Il compito dell'analisi di regressione é appunto quello di sviluppare tecniche che permettano di calcolare,
per ogni valore dell'ingresso il valore atteso condizionato dell'uscita, cioé, in denitiva, la funzione η(x).
Per fare ció si assume, normalmente, che η appartenga a qualche classe di funzioni (ad esempio, polinomi,
polinomi di Laguerre, seni e coseni, splines, ecc.) dipendenti da uno o piú parametri, θ, e si cerca di
stimare in modo opportuno i parametri. Nel seguto saranno mostrate le stime ottenute quando η() é
rappresentata dall'equazione di una retta. Tali stime sono dette stime lineari.

13.2 Regressione lineare

La regressione lineare é certamente uno dei modelli piú frequentemente impiegati nelle applicazioni
pratiche. Il modello della regressione lineare é:

η(x) = θ0 + θ1 x (13.3)
che si traduce in un modello per i dati osservati (da (13.1):

y = θ0 + θ1 x + v (13.4)
I parametri del modello sono stimabili sia mediante il metodo dei minimi quadrati (LS, least squares)
sia utilizzando il principio di massima verosimiglianza (ML, maximum likelihood). I parametri stimati
13.2. REGRESSIONE LINEARE 223

y
vi
yi
η(xi)

θ0 tan-1(θ1)
x
xi
Figura 13.3: Grandezze impiegate nella discussione dell'analisi di regressione lineare

mediante i due principi sono identici. Tuttavia, il principio ML consente la stima della varianza del
rumore, indispensabile per la stima degli intervalli di condenza dei parametri e della retta di regressione
stessa.

13.2.1 Stima mediante il principio ML

Per applicare il principio ML é necessario ipotizzare che:

v ∼ N (0, σ) ∀x (13.5)
Inoltre i campioni vi del rumore v devono essere fra loro indipendenti ed indipendenti dal regressore,
cioé x. Sotto queste ipotesi, la verosimiglianza dei dati misurati dato il modello ipotizzato é calcolabile
nel modo seguente. Poiché le uniche componenti aleatorie del modello sono i termini di disturbo vi , se i
parametri del modello fossero noti si potrebbe ricavare:

(13.6)


vi = yi − θ0 + θ1 xi

La probabilitá, o verosimiglianza, di osservare la sequenza {vi } nell'ipotesi che il disturbo sia N (0, σ), é:

2 
1 vi2 1 yi − θ0 − θ1 xi
  
1 1
(13.7)
Y Y
L(v1 , . . . , vn , θ0 , θ1 , σ) = √ exp − = √ exp −
i
2πσ 2 σ2 i
2πσ 2 σ2

La verosimiglianza ridotta é calcolabile come:

√ 1 X
(13.8)

2
l = log(L) = −n log( 2π) − n log(σ) − 2 yi − θ0 − θ1 xi
2σ i

I parametri del modello ( θ0 , θ1 e σ ) si ricavano calcolando il gradiente della verosimiglianza ridotta:

dl 1 X
(13.9)


= 2 yi − θ0 − θ1 xi
dθ0 σ i

dl 1 X
(13.10)


= 2 yi − θ0 − θ1 xi xi
dθ1 σ i
224 CAPITOLO 13. STIME LINEARI

dl n 1 X
(13.11)

2
=− + 3 yi − θ0 − θ1 xi
dσ σ σ i

e ponendo uguali a zero, simultaneamente, le derivate parziali. In questo modo, dalla prima equazione,
eq. (13.9), si ricava:
X 
nθ̂0 = yi − θ̂1 xi
i

che permette di esprimere θ̂0 in funzione di θ̂1

θ̂0 = ȳ − θ̂1 x

Il valore cosí ricavato per θ̂0 puó essere utilizzato in (13.10), riscrivendola come:
X

(yi − ȳ) − θ̂1 (xi − x̄) xi = 0
i

Ponendo l'ultimo termine, xi , pari a (xi − x̄) + x̄, l'equazione precedente si riscrive come:
X
(yi − ȳ)(xi − x̄) − θ̂1 (xi − x̄)2 + (yi − ȳ) − θ̂1 (xi − x̄) x̄ = 0


i

Poiché é immediato dimostrare che il secondo termine é uguale a zero:

X

(yi − ȳ) − θ̂1 (xi − x̄) x̄ = 0
i

si evince che:
P
i (y − ȳ)(xi − x̄)
θ̂1 = Pi 2
−1
= ĈXX ĈXY (13.12)
i (xi − x̄)
dove l'ultima relazione é stata ottenuta dividendo numeratore e denominatore per n − 1, essendo n il
numero dei campioni misurati.
Inne, da (13.11), si ottiene lo stimatore della deviazione standard del rumore:
1X
(13.13)

2
σ̂ 2 = yi − θ̂0 − θ̂1 xi
n i

Lo stimatore ML della varianza é polarizzato. Si puó dimostrare che uno stimatore non polarizzato é:
1 X
(13.14)

2
σ̂ 2 = yi − θ̂0 − θ̂1 xi
n−2 i

13.2.2 Stima mediante il metodo dei minimi quadrati (LS)

L'analisi di regressione lineare puó essere condotta non ipotizzando la distribuzione del rumore ma, sem-
plicemente, che il rumore sia incorrelato con l'ingresso e con se stesso. Valendo solo queste ipotesi, le stime
di regressione basate sul metodo dei minimi quadrati (LS least squares) sono calcolabili minimizzando lo
scarto quadratico medio fra la stima di yi , yˆi , (cioé il valore di yi stimato dalla retta di regeressione) ed
yi stesso. Per fare ció occorre scrivere la funzione costo:

(13.15)
X
2
J(θ) = yi − θ0 − θ1 xi
i
13.3. INTERVALLI DI CONFIDENZA 225

e calcolare il minimo di tale funzione derivando rispetto ai parametri e ponendo il gradiente uguale a
zero:
dJ
(13.16)
X

= 2 yi − θ0 − θ1 xi = 0
dθ0 i

dJ
(13.17)
X

= 2 yi − θ0 − θ1 xi xi = 0
dθ1 i

Le equazioni cosí ricavate sono coincidenti con (13.9) e (13.10), quindi i due metodi forniscono identici
valori per θ̂0 e θ̂1 . Il teorema di Gauss Markov dimostra che gli stimatori ottenuti mediante il metodo
dei minimi quadrati, sono non polarizzati ed hanno varianza minima.

13.3 Intervalli di condenza

Nell'ipotesi che il rumore sia distribuito in modo gaussiano con media nulla e varianza costante é possibile
dimostrare che gli stimatori della retta di regressione, normalizzati rispetto al loro valore vero (cioé θˆ0 /θ0
e θˆ1 /θ1 ), seguono una distribuzione t di Student ad n − 2 gradi di libertá. La varianza degli stimatori é
(identitá non dimostrate):
x̄
σ̂02 = σ̂ 2 (θ0 ) = σ̂ 2 P 2
(13.18)
i i − x̄)
(x

1
σ̂12 = σ̂ 2 (θ1 ) = σ̂ 2 P 2
(13.19)
i i − x̄)
(x
dove σ̂ 2 deve essere calcolato mediante (13.14). Quindi, ponendo:

Tu = T(1+γ)/2 (n − 2) (13.20)
il percentile a probabilitá u = (1 + γ)/2 della distribuzione t di Student ad n − 2 gradi di libertá, si
possono ottenere gli intervalli di condenza bilaterali per i parametri della retta di regressione:
 
Pr θ̂0 − Tu σ̂0 ≤ θ0 ≤ θ̂0 + Tu σ̂0 = γ (13.21)
 
Pr θ̂1 − Tu σ̂1 ≤ θ1 ≤ θ̂1 + Tu σ̂1 =γ (13.22)

Inoltre, vale:

(x − x̄)2
 
2 1
2 ˆ
σ̂ (η(x)) = σ̂ +P 2
(13.23)
n i (xi − x̄)
che permette di ricavare l'intervallo di condenza della retta di regressione stessa:
 
ˆ ≤ η(x) ≤ η̂(x) + Tu σ̂(η(x))
Pr η̂(x) − Tu σ̂(η(x)) ˆ =γ (13.24)

Come esempio di applicazione dei concetti presentati, la gura 13.4 mostra la retta di regressione stimata
a partire dalla realizzazione di 10 campioni ottenuti da un modello avente θ0 = 1, θ1 = 2, σ = 1/3.
}
226 CAPITOLO 13. STIME LINEARI

8
dati
7 inf.
sup.
6 η(stima)
5
4
3
2
1
0
-1
-2
-3
-1.5 -1 -0.5 0 0.5 1 1.5 2 2.5 3

Figura 13.4: Retta di regressione ed intervalli di condenza per i dati sperimentali marcati dal simbolo
'+'.