Sei sulla pagina 1di 26

Probablit, Statistica e Processi Stocastici

Franco Flandoli, Universit di Pisa

Corso per la Scuola di Dottorato in Ingegneria

Franco Flandoli, Universit di Pisa

()

Processi Stocastici

Corso per la Scuola di Dottorato in Ingegneria


/ 26

Programma del corso

vettori gaussiani, PCA ed fPCA


altri metodi di analisi e previsione di serie storiche
catene di Markov e simulazioni MCMC
equazioni dierenziali stocastiche

Franco Flandoli, Universit di Pisa

()

Processi Stocastici

Corso per la Scuola di Dottorato in Ingegneria


/ 26

PCA ed fPCA

PCA = principal component analysis


fPCA = functional principal component analysis
Sono due tecniche statistiche, basate su interessanti teorie matematiche, la
prima adatta allesplorazione di tabelle, la seconda allesplorazione di serie
storiche, immagini ed altro
N. ore: circa 6

Franco Flandoli, Universit di Pisa

()

Processi Stocastici

Corso per la Scuola di Dottorato in Ingegneria


/ 26

Altri metodi di analisi e previsione di serie storiche

Metodi regressivi (simili ai modelli ARIMAX)


Holt Winters e suoi precursori (smorzamento esponenziale, versione
con trend)
corredati di altri elementi utili, come acf, algoritmi di decomposizione.
N. ore: circa 4

Franco Flandoli, Universit di Pisa

()

Processi Stocastici

Corso per la Scuola di Dottorato in Ingegneria


/ 26

Catene di Markov e simulazioni MCMC

un podi teoria, teorema ergodico e di convergenza allequilibrio


algoritmo di Metropolis, misure di Gibbs
esempio: il modello di Ising
N. ore: circa 5

Franco Flandoli, Universit di Pisa

()

Processi Stocastici

Corso per la Scuola di Dottorato in Ingegneria


/ 26

Equazioni dierenziali stocastiche

elementi di teoria dei processi stocastici


moto browniano
integrali stocastici e calcolo stocastico
equazioni dierenziali stocastiche
simulazioni
N. ore: circa 5-9

Franco Flandoli, Universit di Pisa

()

Processi Stocastici

Corso per la Scuola di Dottorato in Ingegneria


/ 26

Software

Tutto il corso sar basato sulluso del software R.

Scaricarlo da rete (gratuito).

Franco Flandoli, Universit di Pisa

()

Processi Stocastici

Corso per la Scuola di Dottorato in Ingegneria


/ 26

PCA (principal component analysis)


Lidea geometrica parte dalle gaussiane multidimensionali.
Iniziamo con un breve richiamo sulle gaussiane unidimensionali.
Densit gaussiana standard
x2
1
f (x ) = p e 2
2

0.4

0.3

0.2

0.1

-5

-4

-3

-2

Franco Flandoli, Universit di Pisa

-1

0
()

Processi Stocastici

Corso per la Scuola di Dottorato in Ingegneria


/ 26

Gaussiane unidimensionali
La gaussiana standard ha media 0 e deviazione standard 1.
Se Z una variabile aleatoria gaussiana standard, la nuova variabile
aleatoria
X = Z +
ha media e deviazione standard (la sua densit si scrive facilmente,
vedi Wiki). Verr abbreviata N , 2 .
Col software R possiamo generare campioni N , 2 , col comando:
rnorm(n,mu,sig)

> rnorm(10,7,1)
[1] 6.349231 7.608871 7.474523 7.664420 5.027992 6.748387 6.341020
6.948569
[9] 7.359332 7.368808

Franco Flandoli, Universit di Pisa

()

Processi Stocastici

Corso per la Scuola di Dottorato in Ingegneria


/ 26

Gaussiane unidimensionali
Coi comandi dnorm e pnorm si ottengono densit e cumulativa:
X =seq(-5,5,0.01)
Y= dnorm(X)
plot(X,Y,asp=8)

Franco Flandoli, Universit di Pisa

()

Processi Stocastici

Corso per la Scuola di Dottorato in Ingegneria


/ 26

Gaussiane unidimensionali
X =seq(-5,5,0.01)
Y= pnorm(X)
plot(X,Y)

Franco Flandoli, Universit di Pisa

()

Processi Stocastici

Corso per la Scuola di Dottorato in Ingegneria


/ 26

Gaussiana multidimensionale standard


Densit gaussiana (o normale) standard in dimensione n:
1
p e
2

x12
2

xn2
1
p e 2
2
1 2
= (2 ) n/2 exp
x + ... + xn2
2 1

f (x1 , ..., xn ) =

o in notazione vettoriale
f (x) = (2 )

n/2

exp

1
kxk2 ,
2

x = (x1 , ..., xn ) .

Questa la densit di un vettore aleatorio


Z = (Z1 , ..., Zn )
fatto di componenti Zi gaussiane standard e indipendenti.
Franco Flandoli, Universit di Pisa

()

Processi Stocastici

Corso per la Scuola di Dottorato in Ingegneria


/ 26

Gaussiana bidimensionale standard


1
2
2
f (x, y ) = (2 ) 1 exp
2 x +y
(circonferenze, centrate nellorigine)

. Curve di livello: x 2 + y 2 = R 2

0.15
0.10

0.05
-4
-2
0.00
0 0
2
2
4

-2
4

-4

(ottenuto con Maple)


Franco Flandoli, Universit di Pisa

()

Processi Stocastici

Corso per la Scuola di Dottorato in Ingegneria


/ 26

Simulazione di punti gaussiani standard nel piano


n=1000
Z1=rnorm(n)
Z2=rnorm(n)
plot(Z1,Z2)

Franco Flandoli, Universit di Pisa

()

Processi Stocastici

Corso per la Scuola di Dottorato in Ingegneria


/ 26

Gaussiana multidimensionale generica


Se Z = (Z1 , ..., Zn ) un vettore gaussiano standard, A : Rn ! Rk una
matrice, 2 Rk un vettore (deterministico), allora
X = AZ +
un vettore gaussiano qualsiasi. I vettori gaussiani sono tutti e soli quelli
ottenibili in questo modo.
Posto Q = AAT , se det Q 6= 0, allora il vettore X ha densit
f (x) = p

1
n

(2 ) det Q

exp

1
(x
2

)T Q

(x

) .

Si verica che il vettore delle medie (delle componenti di X) e Q la


matrice di covarianza.

Franco Flandoli, Universit di Pisa

()

Processi Stocastici

Corso per la Scuola di Dottorato in Ingegneria


/ 26

Visualizzazioni gaussiana bidimensionale generica


Il graco della densit non molto e cace. Proviamo a titolo di esempio.
3 0
0 1

A=

=0

ovvero
X1 = 3Z1
X2 = Z2 .
Q = AAT =

9 0
0 1

f (x1 , x2 ) = q
Franco Flandoli, Universit di Pisa

()

Q
1

(2 )2 9

exp

Processi Stocastici

1/9 0
0 1
1
2

x12
+ x22
9

det Q = 9
.

Corso per la Scuola di Dottorato in Ingegneria


/ 26

Esempio di gaussiana bidimensionale


p

1
(2 )2 9

exp

1
2

x12
9

+ x22

0.04

z
-4

0.02

-4

-20.00
-2
0 0
2
2
x4
4y

Si immagini un esempio analogo con rotazione:


cos
sin
9 0
A=
.
sin

cos

0 1Processi Stocastici
Franco Flandoli, Universit di Pisa
()

Corso per la Scuola di Dottorato in Ingegneria


/ 26

Curve di livello
I calcoli sulla densit in genere sono di cili. Pi trasparente visualizzare
le curve di livello:
fx 2 Rn : f (x) = ag .
Si vede immediatamente che hanno la forma
n
x 2 Rn : ( x ) T Q 1 ( x
Questi sono ellissoidi. Ad esemio, per A =
ellissi della forma

x1
3

o
) = ra2 .

3 0
0 1

, = 0, sono le

+ x22 = ra2 .

2
1

-4

-2

Franco Flandoli, Universit di Pisa

2
()

Processi Stocastici

Corso per la Scuola di Dottorato in Ingegneria


/ 26

Visualizzazione tramite punti aleatori


Ricordiamo che i comandi n=1000; Z1=rnorm(n); Z2=rnorm(n);
plot(Z1,Z2) generavano punti gaussiani standard nel piano. Essendo
X = AZ + , per generare punti secondo la gaussiana X, basta applicare
la trasformazione a ne ai punti standard generati sopra. Esempio:
A=

3 0
0 1

= 0,

X1 = 3Z1
X2 = Z2

X1=3*Z1; X2=Z2; plot(X1,X2,asp=1)

Franco Flandoli, Universit di Pisa

()

Processi Stocastici

Corso per la Scuola di Dottorato in Ingegneria


/ 26

Si parte da A o da Q?

Nella nostra denizione, un vettore gaussiano denito tramite una


matrice A: X = AZ + .
Poi per la densit denita tramite Q.
Se si parte da A, si calcola Q con la formula Q = AAT .
Se si parte da Q e serve conoscere A, bisogna trovare una matrice A
tale che AAT = Q.
Negli esempi/applicazioni, di solito si parte da Q, nota Q.
A questo scopo per necessario capire meglio il concetto di matrice di
covarianza.

Franco Flandoli, Universit di Pisa

()

Processi Stocastici

Corso per la Scuola di Dottorato in Ingegneria


/ 26

Matrice di covarianza
Dato un vettore aleatorio (anche non gaussiano) X = (X1 , ..., Xn ),
chiamiamo sua media il vettore
= (E [X1 ] , ..., E [Xn ])
e matrice di covarianza la matrice n

n di componenti

Qij = Cov (Xi , Xj ) ,

i, j = 1, ..., n

Ricordiamo che
Cov (X , Y ) = E [(X

E [X ]) (Y

= E [XY ]

E [Y ])]

E [X ] E [Y ] .

e che questa operazione lineare in entrambi i sui argomenti.

Theorem
La matrice Q simmetrica, denita non negativa.

Franco Flandoli, Universit di Pisa

()

Processi Stocastici

Corso per la Scuola di Dottorato in Ingegneria


/ 26

Matrice di covarianza
Media e matrice di covarianza riassumono solo alcune caratteristiche
statistiche di un vettore aleatorio (come media e varianza di una
variabile aleatoria).
Per per i vettori gaussiani racchiudono tutte le informazioni.
Gli elementi sulla diagonale di Q sono le varianze delle componenti,
Qii = Cov (Xi , Xi ) = Var [Xi ] quindi catturano la dispersione delle
singole componenti.
Gli elementi fuori dalla diagonale Qij , per i 6= j, catturano in una
certa misura il legame, la dipendenza reciproca, tra le variabili Xi e
Xj . (Modulato dalla dispersione.)
Pi precisamente, per esaminare il legame andrebbe usato il
coe ciente di correlazione, che non dipende dalla scala

Franco Flandoli, Universit di Pisa

( Xi , Xj ) = p
()

Cov (Xi , Xi )
.
Var [Xi ] Var [Xj ]

Processi Stocastici

Corso per la Scuola di Dottorato in Ingegneria


/ 26

Dati sperimentali multidimensionali


Esamineremo nelle esercitazioni una tabella del tipo

Piem
Vaos
Lomb
TrAA
...

SC
0.471
0.348
1.397
0.435
...

SA.SC
-0.707
-0.642
-0.836
-1.269
...

TD
-0.607
-0.813
-0.790
-0.966
...

dove SC sono le Spese Complessive per famiglia di quella regione in un


certo anno, SA.SC le Spese per Alimenti rispetto al totale delle spese, TD
il Tasso di Disoccupazione. Il vettore aleatorio
X = (X1 , X2 , X3 ) = (SC , SA.SC , TD ) .

Franco Flandoli, Universit di Pisa

()

Processi Stocastici

Corso per la Scuola di Dottorato in Ingegneria


/ 26

Fare un modello

Supponiamo di voler "conoscere la densit di probabilit" di X.


Pi realisticamente, supponiamo di voler trovare una densit di probabilit
f (x1 , x2 , x3 ) che "descriva ragionevolmente" i dati.
Per semplicit, decidiamo di cercarla gaussiana.
Calcolare (pi precisamente "stimare") direttamente A dai dati non
naturale.
Invece possiamo stimare Q e , usando gli usuali stimatori empirici di
media e covarianza.
Con R, per stimare Q, basta usare il comando cov (B ), dove B il nome
della tabella.
In questo senso dicevamo sopra che negli esempi di solito si conosce Q (in
genere empirica), non A.

Franco Flandoli, Universit di Pisa

()

Processi Stocastici

Corso per la Scuola di Dottorato in Ingegneria


/ 26

Generazione di punti aleatori nota Q

Sopra abbiamo visto il modo banale di generare punti aleatori nota A


(basta generare punti standard ed applicare A).
Se nota Q, bisogna risolvere lequazione AAT = Q. Essa ha innite
soluzioni. Quella "canonica"
p
A= Q
denita come quellunica matrice simmetrica e denita positiva che al
quadrato d Q. Come la si calcola?
p
Dopo averla calcolata, basta generare punti standard z ed applicarci Q.

Franco Flandoli, Universit di Pisa

()

Processi Stocastici

Corso per la Scuola di Dottorato in Ingegneria


/ 26

Decomposizione spettrale
Essendo simmetrica, Q diagonalizzabile: esiste una base ortonormale
e1 , ..., en di Rn fatta di autovettori di Q,
Qei = i ei
e, posto
0

vale

1
1 0 0
Qe = @ 0 ... 0 A ,
0 0 n

U = @ e1 ... en A

Q = UQe U T .
Essendo Q positiva, gli autovalori i risultano positivi.

Franco Flandoli, Universit di Pisa

()

Processi Stocastici

Corso per la Scuola di Dottorato in Ingegneria


/ 26