Sei sulla pagina 1di 37

IL METODO MONTE CARLO (MC)

J.E.Gentle, 1998, Random Number Generation and MonteCarlo Methods, Springer


R.Y.Rubinstein, 1981, Simulation and Monte Carlo Method, Wiley

 Cosa si intende con termine MC

I termini Metodo Monte Carlo o Simulazioni Monte Carlo si riferiscono


alla sperimentazione mediante l’uso di numeri casuali
(Simulazioni Stocastiche)

Lo sviluppo di metodologie di tipo MC ha avuto impulso in seguito


allo sviluppo delle metodologie informatiche ed alla disponibilità di
strumenti di calcolo automatico sempre più veloci e meno costosi

Attualmente, infatti, le simulazioni MC sono condotte al calcolatore dunque


mediante l’uso di numeri pseudo-casuali
 Cenni storici

Il metodo MC prende il nome dalla città capitale del Principato di Monaco

Casinò Roulette Generatore di numeri casuali

Il nome e lo sviluppo sistematico di metodologie MC datano intorno al 1944


ma svariate occasioni isolate di impiego dei numeri casuali si hanno anche
in tempi più antichi:

 Tradizionalmente il primo impiego dei numeri casuali si fa risalire alla


seconda metà del IXX secolo Ago di Buffon
(G.L.Leclerc conte de Buffon 1707-1788)

Nell’esperimento originario si impiegava, quale generatore di numeri


casuali, un elevato numero di lanci di un ago su un piano dotato di
riferimento cartesiano
 Nel 1899 Lord Rayleigh ha proposto l’impiego di una Random Walk
per fornire una soluzione approssimata di una equazione
differenziale parabolica

 Nel 1908 Student (W.S.Gosset) impiegò simulazioni stocastiche


(esperimenti campionari) per sviluppare la sua famosa v.c. T

 Nel 1931 Kolmogorov (impostazione assiomatica del Calcolo delle


Probabilità) ha dimostrato la relazione esistente fra Catene di Markov
e particolari equazioni integro-differenziali per via simulativa

 Concetti quali la legge dei Grandi Numeri, la definizione Frequentista di


Probabilità, il Long Run e le Convergenze Stocastiche richiamano l’idea
di Simulazione Stocastica


Soluzione approssimata
 Formulazione originaria del metodo MC di problemi matematici
(deterministici)
b
Problema di integrazione 
 f xdx
a

Non è noto esattamente mediante tradizionali


metodi analitici (complessità)

Approssimazione mediante Simulazione Stocastica

 Metodo MC crude o del valor medio: si basa sulla seguente osservazione

• Sia Y una v.c. con supporto in (a, b) e f.d. (o di p.) Y  y 

• Sia g : (a, b)  R una funzione t.c. g  y Y  y   f  y  y


b b

 f xdx   g  y  Y  y  dy  Eg Y 
a a

All’integrale iniziale può darsi la forma di un valore atteso

Al problema iniziale di integrazione si sostituisce un problema statistico

matematico semplice
complesso
Approssimazione di 
Stima del valor medio Eg Y 

In modo “naturale” lo statistico risolve il problema di stima di un valor


medio ricorrendo allo stimatore Media Campionaria
La scelta più conveniente per la v.c. Y e la f.d. Y  y  è:
f y
Y  Unif a, b  Y  y    gy   b  a f  y 
1
ba Y  y 
avendosi, infine:

  Eg Y   Eb  a f Y   b  aE f Y 

Valor medio di una trasformata


Pseudo-determinazioni dalla v.c. Y di una Unif(a, b) da stimare

Sia y1  y n un campione bernoulliano da Y

f  y1  f  y n  è un campione bernoulliano da f(Y)


n

 f y 
1
La media campionaria:
n
i 
è stima per E f Y  
i 1

n
ˆ  (b  a)

n  f y 
i 1
i è stima per 
Approssimazione MC crude
n b
ˆ (b  a)
 
n  f  y  è soluzione approssimata per    f xdx
i 1
i


Stima di b  a E f Y   ˆ 
 ˆ al variare del campione
y1  y n

Stimatore Media Campionaria

 
E ̂   e ˆ  b  a 2 V  f Y 
V n

Corretto Consistente
“in media” ̂ è soluzione esatta per  la soluzione approssimata ̂ per 
è tanto migliore quanto più
“grande” è n

 L’errore di approssimazione è dell’ordine O n  Sqm V ̂ 


Il metodo MC crude è n -corretto comunque complesso sia 
 E’ nota una stima (corretta e consistente) per V ̂ 
ˆ  vb  a E  f Y   b  a 
2 n
 ˆ 2

  f  yi  
v()
1

n n 1
i 1  b  a  
Stima della
Varianza di una
Media Campionaria Medesimo campione

Misura dell’efficienza del metodo

 Vale l’approssimazione Normale


TLC
ˆ  d

̂  b  a  Media Campionaria  n
 N (0,1)
V 
ˆ n
ˆ)
Stimato con v (
IC per 

Fissato il livello di confidenza 1   ˆ z


 ˆ
1 / 2 v  
Probabilistic Error Bounds
Oss: iid Y  Unif (a, b)

b  a 2 b
2 n
  (b  a )  ba

2
n
  
V  f Y  
    1
V ̂  V  f Yi      f y  dy 
 n   n  i 1 n b  a  b  a
i 1 a

b
ba  2  

 f y  2
2
f ( y ) dy
n 
a
b  a 2 ba 

E  f (Y ) 
b b b  ba
ba  2

     1
  f y 2
dy  dy  2 f y dy 
n 
a a
b  a 2
a
b  a 

b
2 2
b  a  2  dy  b  a 2
b  a 
 b  a
1 
n
 a

 b  a  f  y 2 dy  2 

Esempio: File Mathematica Esempio MC crude.nb


 Metodo MC “hit or miss” Il più noto fra gli sviluppi
del metodo MC crude

colpisci o manca

b


a
f x  dx • f (x ) limitata in (0, c)
• a xb

Mentre il metodo MC crude si basa sulla rappresentazione dell’integrale


 come un valor medio, il metodo MC hit or miss si basa sulla
rappresentazione dell’integrale come area sottesa a f (x )

f(x)
  x, y  : a  x  b, 0  y  c

Area sottesa a f(x)


x
a b
Sia (X,Y) la v.c. bi-dimensionale Uniforme su  (a componenti indipendenti)
cioè con f.d. congiunta:

 XY x, y    X ( x)Y ( y) 
1
c(b  a )
x, y   
Unif(a,b) Unif(0,c)

Sia p  P X , Y   Area sottesa a f ( x)

Casi favorevoli
Area sottesa a f(x)    p  cb  a
p 
Area di Ω cb  a 
Casi possibili ignota nota

“Stima” mediante una “proporzione” (frequenza relativa)


Infatti: p  P X , Y   Area sottesa a f ( x)
 P f  X   Y 

f x   y   X , Y   x, y  che non cade nell’area


d’interesse
f(x)
Zona miss
c
f(X)=y

x
a X=x b
Zona hit

f x  y   X , Y   x, y  che cade nell’area


d’interesse

Sia x1 , y1 ,, xn , yn  un campione bernoulliano da (X,Y)  Unif 

xi , yi   zona hit con probabilità p

xi , yi   zona miss con probabilità (1-p)


Il problema iniziale (matematico) di approssimazione per  è stato
trasformato in un problema (statistico) di stima di una proporzione p

Semplice:
stimatore Frequenza Relativa Campionaria

Sia p̂ la frequenza relativa campionaria di valori xi , yi  che cadono nella


zona hit (“colpiscono” l’area di interesse), cioè:

#  f xi   yi  stima per p


pˆ 
n
ˆ  pˆ  cb  a  stima per 

Approssimazione MC hit or miss

MC x1 , y1 ,, xn , yn  sono pseudo-determinazioni da una v.c. Unif 

X  Unif a, b e Y  Unif 0, c indipendenti


b
ˆ  pˆ  cb  a  è soluzione approssimata per
 
 f xdx
a
ˆ  cb  a Pˆ al variare del campione
ˆ 
 x1 , y1 ,, xn , yn 

Stimatore Frequenza Relativa Campionaria

Pˆ  Bin n, p 
1
n

 
E ̂  cb  a E Pˆ  p  cb  a   
Corretto
“in media” ̂ è soluzione esatta per 

2 p 1  p 
 V 
̂  2 ˆ 
cb  a V P  c b  a 
n
Consistente
la soluzione approssimata ̂ per  è tanto
migliore quanto più “grande” è n
 L’errore di approssimazione è dell’ordine O n   Sqm 
V ̂

Il metodo MC hit or miss è n -corretto comunque complesso sia 

 E’ immediata una stima (corretta e consistente) per V ̂ 


ˆ  cb  a 2 pˆ 1  pˆ 

v Medesimo campione
n
Misura dell’efficienza del metodo MC hit or miss

 Vale l’approssimazione Normale TLC


ˆ  d

̂  cb  a Freq. Rel. Campionaria  n
 N (0,1)

V ˆ n
ˆ)
Stimato con v (
IC per 

Fissato il livello di confidenza 1   ˆ z


 
ˆ
1 / 2 v 
Pˆ  Bin n, p 
Oss:
1
n

2 p 1  p 

V ̂  cb  a  2

V P  cb  a 
ˆ
n
 c b 
n
a 2

 
1 
 
cb  a   cb  a 

cb  a 2   cb  a     cb  a   


  
n cb  a   cb  a   n

Esempio: File Mathematica Esempio MC hit or miss.nb


Oss: qualunque sia il metodo MC impiegato

fissare n sufficientemente grande migliora l’approssimazione ̂ per 

Campione di pseudo-determinazioni calcolatore

Correttezza e Consistenza di ̂
Stima di  
V ̂
Approssimazione Normale per IC

 Come fissare n

Quanto deve essere grande n affinchè si realizzino i risultati asintotici


sullo stimatore ̂ ?

E f Y  P̂
Metodo MC crude Metodo MC hit or miss
Disuguaglianza di Chebychev

Fissati la probabilità  livello di significatività

e  0 piccolo a piacere errore max di approssimazione tollerato


P ̂       1

ˆ
V 1  
dipende da n

 2

errore di approssimazione

Si ha una semplice disequazione nell’incognita n che, una volta risolta,


fornisce una risposta (statistica) alla domanda
 Simatore MC crude

Disuguaglianza di Chebychev

  1 b  a 2
V 
ˆ   2
V  f Y  V  f Y 
b a
 1   1 2
n  n

Risolvendo nell’incognita n:

2

1 b  a 2 V  f Y 
 n
b  a 2 V  f Y  n  2

Affinché l’errore di approssimazione sia non superiore al prefissato 


con probabilità non inferiore al prefissato 1   è necessario fissare n
almeno pari a:

E’ necessario una preliminare stima


b  a 2 V  f Y  (precedente simulazione MC)
 2
 Simatore MC hit or miss

Disuguaglianza di Chebychev

ˆ  cb  a 2 p1  p  2 p1  p 


V  1   1
1
c b  a 
n  2 n

Risolvendo nell’incognita n:

2 1 p1  p cb  a 2


  n
p1  p cb  a  2 n  2

Affinché l’errore di approssimazione sia non superiore al prefissato 


con probabilità non inferiore al prefissato 1   è necessario fissare n
almeno pari a:

E’ necessaria una preventiva stima per p


p 1  p cb  a 2 (precedente simulazione MC)
 2
Dal fatto che esistono più metodi MC per risolvere il medesimo problema
segue l’esigenza di confrontarli per scegliere “il migliore” in qualche senso

 Efficienza (relativa) dei metodi MC

I metodi MC sono basati su stime da campioni bernoulliani

Una definizione di efficienza (relativa) può darsi in termini di


Errore Quadratico Medio (Varianza se sussiste la correttezza)

+ tempi di esecuzione
b
ˆ e ˆ due soluzioni MC per
Siano 1 2 
 f xdx
a
corrette, cioè:

   
ˆ E
E1
ˆ 
2

Siano t1 e t 2 i tempi-macchina rispettivamente associati a dette soluzioni


Def:
Il metodo MC che fornisce la soluzione ̂1 è
più efficiente del metodo MC che fornisce ̂ se:
2

 
ˆ  t V 
t1  V 1 2
ˆ
2   

Oss: Nel caso non sussista la correttezza, un’analoga definizione


può darsi in termini di Errore Quadratico Medio:

 
ˆ  2 V 
ˆ E
MSE   ˆ 2
ˆ  Dist  

Quale fra i metodi MC crude e MC hit or miss è (relativamente)


più efficiente?

  ˆ
ˆ  sempre,  f x   c
c hm  se a xb

 per semplicità t c  t hm

 entrambi corretti
Si tratta di confrontare le varianze V ̂ c    
e V ̂ hm

 
   
b
ˆ   cb  a     1 b  a  f  y 2 dy  2 
ˆ
V hm  V  c
n n
 a
 

 b 

 b  a  c  f  y  dy 
1 2
n  
 a 
>0
b b

 c  f  y dy   f  y   f  y dy
a a

> 0 poiché f x   c

    
ˆ
V ˆ
hm  V c
A parità di tempi-macchina, il metodo MC hit or miss
è, in generale, meno efficiente del metodo MC crude
Di fronte a diversi metodi MC per risolvere il medesimo problema è stato
introdotto il concetto di efficienza relativa (fra metodi MC)

Sorge, in via naturale, l’esigenza di un concetto


di efficienza assoluta (per metodi MC)

Nella Teoria dell’Inferenza “classica” esiste, per certe classi di problemi,


lo stimatore a varianza uniformemente minima (Media Campionaria)

Lo stimatore “migliore in senso assoluto”


(il più efficiente nella classe degli stimatori corretti per  )

Un analogo concetto non sembra immediatamente definibile


nell’ambito delle simulazioni

Tentativi di ottenere “guadagni di efficienza” in termini di


“riduzione della varianza” rispetto all’applicazione del
metodo MC “grezzo”
 Tecniche di riduzione della varianza

 Letteratura vastissima
 Problema “antico” (nascita dei calcolatori digitali 1953)

 b 
 
Dato un metodo MC (corretto) per la soluzione di un problema   


a
f x  dx 


perseguire una riduzione della varianza (dunque un aumento dell’efficienza)
significa utilizzare informazioni a priori circa il problema

In situazione di completa disinformazione circa  non è possibile ottenere


riduzione della varianza del metodo MC scelto. Viceversa, se sono disponibili
informazioni a priori, di una qualche natura, esse possono non sprecarsi ma
essere integrate nel metodo stesso perseguendo l’obiettivo di
ridurre la varianza dell’approssimazione
 Tecniche di “riduzione analitica”

Si supponga che  sia decomponibile nel modo seguente:

b c b


 f xdx   f xdx   f xdx
a a c
 1  2

noto
in base a informazioni a priori

Ci si attende (ragionevolmente) che l’approssimazione MC:


ˆ  
 ˆ
1 2
sia più efficiente dell’approssimazione “grezza”:
ˆ
 ˆ ˆ
grezzo  1   2

Studi empirici hanno dimostrato che ciò è vero a meno che non esista una
qualche relazione fra f xe f x  t  con a  x  c e c  x  t  b

informazioni a priori su 
Quando ciò accade, si può sfruttare tale informazione per “migliorare” ̂ 2
conseguendo una riduzione di varianza.
ˆ 
1 1
Se, ad esempio ˆ   , la misura relativa della sovra-stima ˆ
1 1 
può utilizzarsi per “migliorare” ̂ 2 1

Un altro esempio di riduzione analitica si ha qualora sia nota la


seguente decomposizione di  :
b b b


 f xdx   g xdx   hxdx
a a a
 3   4

noto
in base a informazioni a priori

Ci si attende (ragionevolmente) che l’approssimazione MC:  ˆ   ˆ


3 4
ˆ ˆ ˆ
sia più efficiente dell’approssimazione “grezza”:  grezzo  3  4
Studi empirici hanno evidenziato la seguente indicazione operativa: ciò è vero
(si consegue la riduzione della varianza) qualora le funzioni g(x) e h(x) abbiano
andamento “simile” ovvero h(x) - g(x) risulti “più regolare” di f(x)

Accanto alle tecniche di riduzione analitica la letteratura è ricca di


proposte di tecniche di riduzione della varianza basate su informazioni
a priori su 

Vediamo le due più note (semplici) rimandando, per le dimostrazioni


rigorose e le alternative, alla letteratura sull’argomento
S.M.Ross, 1997, Simulation, Harcourt Academic Press

 Variabili Antitetiche Proposta nel 1956 da Hammersley e Morton

La tecnica è applicabile qualora si disponga di 2 differenti approssimazioni MC


per il medesimo problema  entrambe corrette e con correlazione
strettamente negativa
Formalmente: ˆ e
1
ˆ
2 con E    
ˆ E
1
ˆ 
1 
ˆ ,
e Cov 1
ˆ 0
2  
Variabili antitetiche
ˆ ˆ
ˆ  1   2
va
2 Approssimazione MC secondo la tecnica delle
Variabili Antitetiche

Procedendo in tal modo si presegue la possibilità di ottenere una


riduzione della varianza (aumento di efficienza del metodo MC grezzo) per
effetto del legame inverso fra i due stimatori impiegati, avendosi:

ˆ 
 va
ˆ
va t.c. V ˆ
 va 
1
4
      
ˆ V 
V1
ˆ
2

Infatti:
 
ˆ 
V  va  V 
ˆ 
1
2
ˆ 
2
 
1 ˆ
4
V 1  ˆ 
 2 <0
 
1 ˆ
 V
4
1  
1 ˆ
4
V  2 
1
2
 
Cov 1 
ˆ ,
ˆ
2 
1
 V
4
    
ˆ V 
1
ˆ
2
Esempio: Impiego delle Variabili Antitetiche per ridurre la varianza del
metodo MC crude

iid da Y  Unif a, b

b n


 f x  dx metodo MC crude “grezzo”: ˆ  b  a  1
1
n  f y 
i 1
i

Sia Y’=a+(b-Y)  anche Y '  Unif (a, b) infatti:

Y ' t   PY '  t  Pa  b  Y  a  b  y  PY  y 1  Y ( y)


(a  b  t )  a ta
 1  Y (a  b  t )  1  
ba ba
f.r. di una v.c. Unif (a, b)

Inoltre, Y e Y’ sono negativamente correlate: infatti, poiché Y è simmetrica


rispetto al punto medio dell’intervallo (a,b) si ha che t=a+b-y è “il simmetrico” di y
Infatti, si verifica agevolmente:

a  b 
2
 2ab CovY , Y '  
b  a 2
E Y  Y '   E Y a  b  Y   e 0
6 12

Y e Y’ possono impiegarsi quali variabili antitetiche

Sia: y1  y n un altro campione bernoulliano da Y  Unif (a, b)

y'i  a  b  yi i  1n è un campione bernoulliano da Y’

n
e: ˆ  b  a  1
 2
n  f  y' 
i 1
i
è un’altra approssimazione (MC crude) per 

corretta
da cui:

ˆ 
 ˆ n
ˆ
 f  yi   f  y'i  Approssimazione MC per 
  1 2 1
va 
2 2n secondo la tecnica delle
i 1
variabili antitetiche
 Affinchè ̂1 e ̂ 2 siano variabili antitetiche (correlazione negativa) f
deve mantenere la relazione inversa esistente fra Y e Y’

 Poiché ̂ va è basato su 2 campioni, ciascuno di ampiezza n, richiede una


simulazione doppia rispetto al metodo MC crude grezzo

Si persegue un guadagno di efficienza (si ottiene una riduzione della


Varianza) se:
ˆ
V 
va 
1 ˆ
2
 
V 1

MC crude grezzo

Si può dimostrare che ciò si verifica se f è monotona (debolmente)


continua con derivata prima continua
b

 Campionamento per importanza



 f xdx
a

Si basa sulla seguente osservazione:


anziché campionare equamente sull’intervallo (a,b) può risultare più
conveniente (in termini di riduzione della varianza) effettuare un
campionamento “pesato” assegnando più o meno “importanza” a
particolari sottointervalli di (a,b)
Informazioni a priori

Ad esempio, realizzando un campionamento più intenso in quei


sottointervalli di (a,b) sui quali f(x) è “più grezza” (più difficile da approssimare)
e, viceversa, campionare meno intensamente nei sottointervalli di (a,b) sui
quali f(x) risulta “più liscia e regolare” (più facile da approssimare)

Sia X una v.c. con f.d. (o p.)  X x positiva in (a,b) dalla quale sia
semplice generare pseudo-determinazioni

 X x  Funzione di importanza (Importance Sampling Distribution)


Peso del campionamento
Infatti, all’integrale  viene data la seguente rappresentazione:

f x 
b
 f X  
b

 f xdx  a
a
 X x 
  X x  dx  E 

 X  X  

Sotto opportune condizioni di


f x  Stima di un valor medio
integrabilità per
 X x  Stimatore Media Campionaria

Sia x1  xn un campione bernoulliano da X

f xi  f X 
, i  1n è un campione bernoulliano da
 X xi   X X 

f  xi 
n


ˆ 1
 
 X  xi 
IS
n Approssimazione MC per  secondo la
i 1
tecnica del campionamento per importanza
Al variare del campione ˆ 
 ˆ
IS IS
Stimatore Media Campionaria

 Corretto ˆ
E 
IS  
iid X
1 f X   1
V ̂ IS   V  
n
 f X  
n

  X  n     X 
 V
i
 Consistente n 2
 i 1 X i  i 1 X

b 2 
1  f x  1  f x 
b 2

 
2
    X   x  dx  dx   0
n   X x   n   X x   n
a a 
f x 
 sotto opportune condizioni su
 X x 

Come il campionamento per importanza persegue la possibilità di


ridurre la varianza (aumentare l’efficienza)?

il punto cruciale è la scelta della f.d.  X x 


ˆ 
 Soluzione esatta
IS
1  f x 
b 2

ˆ
V  
IS  
n   X x 
   X x  dx = 0

a

f x 
con la scelta  X  x  

Scelta ottimale ma “teorica” (  ignoto)

a
ci si può avvicinare all’ottimo scegliendo:  X x  f x 

ovvero quanto più l’andamento di  X x è “simile” quello di f(x)

Esempio:
effettuando la scelta più “grezza” si ottiene un risultato già verificato
X  Unif (a, b) cioé  X  x  
1
costante
ba

Con tale scelta (che non effettua campionamento per importanza) si ha:

f xi  b  a 
n n
ˆ 1
 IS
n 
i 1
 X xi 

n 
i 1
ˆ
f xi   crude

Il metodo MC crude può vedersi come tecnica di riduzione


della varianza.

Abbiamo già dimostrato che risulta più efficiente del


metodo MC hit or miss