Documenti di Didattica
Documenti di Professioni
Documenti di Cultura
Probabilità e Bayes PDF
Probabilità e Bayes PDF
DI BAYES
1.1 Introduzione
La teoria delle probabilit una scienza matematica che si occupa delle regolarit negli
eventi casuali (aleatori). Si dice che un evento aleatorio se, ripetuto pi volte un
esperimento, levento si verifica ogni volta un po diversamente.
Diamo alcuni esempi di eventi aleatori:
Tutti gli esempi menzionati sopra sono considerati dallo stesso punto di vista: sono
sottolineate le variazioni aleatorie, i risultati diversi in una serie di esperimenti, le cui
condizioni essenziali sono mantenute costanti. Tutte queste variazioni sono sempre legate
alla presenza di fattori secondari, che influiscono sul risultato dellesperimento, ma non
figurano tra le condizioni essenziali. Le condizioni essenziali dellesperimento,
determinando grosso modo il suo verificarsi, restano invariate; le condizioni secondarie
variano da un esperimento allaltro e fanno apparire delle variazioni aleatorie nei risultati.
evidente che non esistono in natura effetti fisici che non abbiano elementi casuali. Per
quanto esatte e identiche siano le condizioni dellesperimento, impossibile raggiungere
risultati completamente e esattamente coincidenti al ripetersi dellesperimento.
Ogni fenomeno deterministico inevitabilmente accompagnato da scarti aleatori. Tuttavia
in certe applicazioni pratiche si possono trascurare questi elementi aleatori sostituendo un
fenomeno reale con uno schema semplificato, un suo modello, supponendo che nelle
condizioni date dallesperimento esso si realizzi in modo ben determinato.
Per la risoluzione di un certo numero di problemi, il metodo classico delle scienze esatte
sembra, tuttavia, poco adatto. Esistono dei problemi in cui il risultato di un esperimento
dipende da un numero di fattori cos grande che non praticamente possibile registrarli
tutti e tenerne conto. Questo il caso dei problemi in cui i fattori aleatori secondari,
intimamente legati gli uni agli altri, giocano un ruolo importante, per di pi, il loro numero
talmente grande e la loro influenza cos complicata che non giustificato limpiego dei
metodi classici.
2
1 Calcolo delle probabilit e teorema di Bayes
___________________________________________________________________________________________________________
I primi studi che portarono successivamente a concetti legati alla probabilit possono
essere trovati a met del XVI secolo nel Liber de ludo ale di Cardano (del 1526, ma
pubblicato solo un secolo e mezzo dopo, nel 1663) e in Sulla scoperta dei dadi di Galileo
Galilei (pubblicato nel 1656), nei quali i due autori ottengono degli elenchi di numeri
facendo ricorso alle permutazioni.
Il problema della ripartizione della posta in gioco nel caso che un gioco d'azzardo debba
essere interrotto, venne affrontato da Fra Luca dal Borgo (detto Paccioli) in Summa de
arithmetica, geometria, proportioni et proportionalita (pubblicato nel 1494) e
successivamente da Tartaglia, per poi essere risolto da Pascal e Fermat.
La nascita del concetto moderno di probabilit viene attribuita a due grandi scienziati quali
Blaise Pascal (1623-1662) e Pierre de Fermat (1601-1665), in particolar modo nella
corrispondenza che si scambiavano discutendo di un problema legato al gioco d'azzardo:
Se si lanciano pi volte due dadi, quanti lanci sono necessari affinch si possa
scommettere con vantaggio che esce il doppio sei?
Nello stesso periodo Christiaan Huyghens (1629-1695) scrive De ratiociniis in ale ludo
nel quale utilizza il concetto di valore atteso e il campionamento statistico con e senza
riposizionamento. I suoi lavori influenzano tra l'altro Pierre de Montmort (1678-1719) che
scrive nel 1708 Essai d'analyse sur le jeux de hasard, ma anche Jakob Bernoulli e
Abraham de Moivre.
Nel 1654 Pascal annuncia all'Accademia di Parigi che sta lavorando sul problema della
riparitizione della messa in gioco. In una lettera del 29 luglio dello stesso anno a Fermat
propone la soluzione del problema, affrontato con il metodo per ricorrenza, mentre Fermat
utilizzava metodi basati sulle combinazioni.
Nel 1713 Jakob Bernoulli formula in Ars conjectandi il primo teorema limite, ovvero la
legge dei grandi numeri.
Ancora prima di Bernoulli fu notata una particolarit dei fenomeni aleatori, che si pu
chiamare stabilit delle frequenze per un gran numero di prove e che si manifesta nel
fatto che per un gran numero di prove, aventi ciascuna un risultato aleatorio, la frequenza
relativa di comparsa di ciascuno dei risultati tende a stabilizzarsi, convergendo a un certo
numero, cio alla probabilit di questo risultato. Per esempio, quando si lancia un gran
numero di volte una moneta, la frequenza relativa di comparsa della testa tende a 1/2;
quando si lancia un gran numero di volte un dado a sei facce, la frequenza di comparsa
del cinque tende a 1/6, ecc.
Bernoulli fu per il primo a dare il fondamento teorico di questo fatto empirico. Il teorema di
Bernoulli, la forma pi semplice della legge dei grandi numeri, stabilisce una relazione tra
la probabilit di un evento e la frequenza della sua comparsa; quando il numero di prove
sufficientemente grande, ci si pu aspettare, con una certezza elevata, che la frequenza
coincida a piacere con la probabilit.
Un altro periodo importante nello sviluppo della teoria delle probabilit legato al nome di
Moivre (1667-1754). Fu lui ad introdurre e a dimostrare, nel caso pi semplice, una legge
particolare osservata spesso nei fenomeni aleatori: la cosiddetta legge normale (o legge di
Gauss). La legge normale gioca un ruolo particolarmente importante nei fenomeni aleatori.
3
1 Calcolo delle probabilit e teorema di Bayes
________________________________________________________________________________________________
Il gruppo di teoremi che danno un fondamento a questa legge per differenti condizioni
porta il nome generale di teorema limite centrale.
Un ruolo particolare nello sviluppo della teoria delle probabilit lha avuto Laplace (1749-
1827), che ha dato unesposizione concisa e sistematica dei fondamenti della teoria delle
probabilit, ha dimostrato una delle forme del teorema limite centrale (teorema di Moivre-
Laplace) e ha sviluppato numerose applicazioni della teoria delle probabilit a questioni
pratiche, in particolare, allanalisi degli errori nellosservazione e nella misura.
Un altro passo in avanti nello sviluppo della teoria delle probabilit appartiene a Gauss
(1777-1855), che ha dato un fondamento ancora pi generale alla legge normale e ha
elaborato un metodo per trattare i dati sperimentali, noto con il nome di metodo dei minimi
quadrati. Notevoli sono i lavori di Poisson (1781-1840) che ha dimostrato la legge dei
grandi numeri in una forma pi generale di quella di Bernoulli e per primo ha applicato la
teoria delle probabilit ai problemi di tiro. Una delle leggi di distribuzione che gioca un
ruolo particolarmente importante nella teoria delle probabilit e delle sue applicazioni,
porta il nome di Poisson.
Allinizio del XIX secolo, in Russia, appare la celebre scuola matematica di S. Pietroburgo
che ha dato alla teoria delle probabilit il suo fondamento logico e teorico e ne ha fatto uno
strumento sicuro, esatto ed efficace di conoscenza. A P. ebyev (1821-1894), eminente
matematico russo, sono dovuti lo sviluppo e la generalizzazione della legge dei grandi
numeri; inoltre, egli ha introdotto nella teoria delle probabilit il potente ed efficace metodo
dei momenti.
A. Markov (1856-1922), allievo di ebyev, ha ugualmente arricchito la teoria delle
probabilit di scoperte e di metodi molto importanti. Markov ha esteso il dominio di
applicazione della legge dei grandi numeri e del teorema limite centrale da esperimenti
indipendenti a dipendenti. Il merito essenziale di Markov consiste nellaver posto le basi di
una branca nuova della teoria delle probabilit, cio la teoria dei processi aleatori o
stocastici.
Un gran numero di lavori fondamentali nei diversi campi della teoria delle probabilit e
della statistica matematica appartiene a A. Kolmogorov. stato lui a dare una costruzione
assiomatica della teoria delle probabilit, collegandola con un settore importante
dellanalisi, sviluppando la sua teoria nel 1933.
Si torni indietro: nel 1763 fu pubblicato in Inghilterra un articolo del reverendo Thomas
Bayes, che divenne famoso per le sue implicazioni. Secondo larticolo, fare delle previsioni
su un fenomeno dipende non solo dalle osservazioni che lo scienziato ottiene dai suoi
esperimenti, ma anche da ci che egli stesso pensa e ha compreso del fenomeno
studiato, ancor prima di procedere allesperimento stesso. Tali premesse furono sviluppate
nel 1900 da illustri studiosi, quali B. de Finetti (La prvision: ses lois logiques, ses sources
subjectives, 1937), Savage (The foundation of statistics, 1959) e altri ancora.
4
1 Calcolo delle probabilit e teorema di Bayes
___________________________________________________________________________________________________________
Questa probabilit talvolta detta probabilit a priori: il motivo dell'appellativo "a priori"
deriva dal fatto che possibile stimare la probabilit di un evento a partire dalla simmetria
del problema.
Ad esempio, nel caso di un dado regolare si sa che la probabilit di avere un numero
qualsiasi dei sei presenti sulle facce 1/6 e infatti, nel caso dell'uscita di un 3, si ha:
un 3
1
p(3) = = .
una faccia qualsiasi del dado 6
Analogamente, nel caso di una puntata sul colore rosso alla roulette la probabilit di
vincere pari a 18 , cio circa il 49% (infatti i numeri rossi sono 18 su un totale di 37,
37
essendoci oltre ai 18 numeri neri, anche lo zero che verde).
L'estensione al caso di eventi con risultati continui si attua attraverso una
rappresentazione geometrica in cui la probabilit di un evento casuale data dal rapporto
tra l'area favorevole all'evento e l'area totale degli eventi possibili.
Si consideri un esempio. Si supponga che un bambino lanci dei sassi contro una parete
forata senza prendere la mira. Siano i fori sulla parete distribuiti a caso e per semplicit
assumiamo che le dimensioni dei sassi siano molto piccole rispetto a quelle dei fori. Ci si
chiede qual la probabilit p che un sasso passi dall'altra parte.
Se A l'area della parete e a l'area di ciascuno dei k fori, la probabilit che un sasso passi
data dall'area "favorevole" divisa l'area totale
ka
p= .
A
5
1 Calcolo delle probabilit e teorema di Bayes
________________________________________________________________________________________________
Si noti bene che questa definizione oggettiva di probabilit diventa di difficile applicazione
nelle numerose situazioni in cui la densit di probabilit non pu pi essere considerata
uniforme, ovvero quando vengono meno le condizioni di simmetria. Ad esempio nel caso
del bambino che lancia i sassi contro il muro pu verificarsi che le dimensioni dei fori
varino dal centro verso i bordi del muro e il bambino cerchi di mirare al centro.
Gli n tentativi possono essere effettuati sia ripetendo in sequenza m volte lo stesso
esperimento sia misurando simultaneamente m esperimenti identici.
Esistono alcune delicate questioni riguardo l'esistenza e il significato del limite presente
nella definizione di probabilit empirica:
la probabilit cos definita non una propriet solo dell'esperimento, ma anche
funzione del particolare gruppo su cui viene calcolata. Ad esempio la probabilit di
sopravvivenza ad una certa et, calcolata su diversi campioni di popolazione a cui
una stessa persona appartiene (maschi, femmine, fumatori, non fumatori,
deltaplanisti, ecc.), risulta diversa;
la probabilit empirica si pu rigorosamente applicare soltanto agli esperimenti
ripetibili, per i quali il limite per m tendente all'infinito ha significato. Si deduce
quindi che molte situazioni della vita quotidiana, non sono soggette all'uso di questa
definizione di probabilit: rappresentano esempi di questo tipo il risultato di una
partita di calcio, quello di una roulette russa o il tempo atmosferico di domani.
6
1 Calcolo delle probabilit e teorema di Bayes
___________________________________________________________________________________________________________
Inoltre, per venire incontro ad una necessit di "operativit", quasi tutti sono concordi nel
definire la probabilit come il valore della frequenza relativa di successo su un numero di
prove non necessariamente tendente all'infinito, ma giudicato sufficientemente grande.
Ad esempio, se si lancia una moneta non truccata, la frequenza di croci dopo numerosi
lanci si assester in generale sul 50%; tuttavia, anche se estremamente improbabile,
esiste la possibilit che ci sia una sequenza di tutte croci: questo il difetto logico della
definizione frequentista.
I. p(A ) 0 ;
II. se, come ipotizzato, A 1 e A 2 sono eventi mutuamente escludentisi, allora deve
valere: p(A 1oppureA 2 ) = p( A 1 ) + p( A 2 ) dove p( A 1oppureA 2 ) la probabilit di
avere il risultato A 1 o il risultato A 2 ;
III. p( A i ) = 1 , dove la sommatoria estesa su tutti gli eventi mutuamente
i
escludentisi.
7
1 Calcolo delle probabilit e teorema di Bayes
________________________________________________________________________________________________
8
1 Calcolo delle probabilit e teorema di Bayes
___________________________________________________________________________________________________________
almeno uno dei due; lintersezione di due eventi A B invece lavverarsi di entrambi gli
eventi. Inoltre, la differenza A B tra due eventi indica lavverarsi di A, ma non di B e,
infine, si indica con A il complementare di A, che rappresenta il fatto che A non avviene.
p( A B) = p( A ) + p(B) (1.3a)
Nel caso che due eventi non siano mutuamente escludentisi, il teorema di addizione delle
probabilit afferma che:
p( A B) = p( A ) + p(B) p( A B) (1.3b)
p( A + B) = p( A ) + p(B) p( A B) . (1.4)
Alcuni esempi:
p(A B ). (1.5)
p( A B) = p( A ) , (1.6)
p( A B) p( A ) . (1.7)
p( A B) = p( A ) + p(B) p( A B) (1.8)
10
1 Calcolo delle probabilit e teorema di Bayes
___________________________________________________________________________________________________________
che equivale a:
p( A B) = p( A ) + p(B) p( A + B) . (1.9)
Si dimostra questo teorema per gli eventi che si riducono a uno schema di casi. Si
supponga che i risultati possibili della prova si riducano a n casi indicati con n punti:
k B
mA
.
l AB
Si supponga che m casi siano favorevoli allevento A e k casi allevento B ; non essendo
A e B supposti incompatibili, si ammette che esistano, in generale, dei casi favorevoli
allevento A e allevento B simultaneamente.
11
1 Calcolo delle probabilit e teorema di Bayes
________________________________________________________________________________________________
Si calcola p(B A ), vale a dire la probabilit dellevento B , a patto che A sia verificato. Se
noto che levento A ha avuto luogo, degli n casi possibili allinizio della prova rimangono
possibili solo quegli m casi che sono favorevoli allevento A , essendo l di questi m casi
favorevoli allevento B . Di conseguenza:
l
p(B A ) = . (1.12)
m
12
1 Calcolo delle probabilit e teorema di Bayes
___________________________________________________________________________________________________________
( )
p A 1A 2 ...A n = p(A 1 ) p(A 2 A 1 ) p(A 3 A 1A 2 )...p(A n A 1A 2 ...A n1 ) . (1.21)
cio: la probabilit del prodotto di eventi indipendenti uguale al prodotto delle probabilit
di questi eventi.
13
1 Calcolo delle probabilit e teorema di Bayes
________________________________________________________________________________________________
n n
p A i = p(A i ). (1.23)
i =1 i =1
Esempio 1
Un'urna contiene 2 palline bianche e 3 palline rosse. Si estraggono due
palline dall'urna. Trovare la probabilit che le due palline estratte siano
entrambe bianche.
Si denoti con A l'evento apparizione di due palline bianche. L'evento A il
prodotto di due eventi elementari:
A = A1A 2
p( A ) = p( A 1 ) p( A 2 A 1 ) = ( 2 ) ( 1 ) = 0.1
5 4
14
1 Calcolo delle probabilit e teorema di Bayes
___________________________________________________________________________________________________________
A = A 1 A 2 A 3 + A 1A 2 A 3 + A 1 A 2 A 3 .
p( A ) = p( A 1 A 2 A 3 ) + p( A 1A 2 A 3 ) + p( A 1 A 2 A 3 ) =
= 0.4 0.5 0.3 + 0.6 0.5 0.3 + 0.6 0.5 0.7 = 0.36.
Esempio 3
Nelle condizioni dellesempio precedente si trovi la probabilit che almeno un
colpo vada a centro.
Si consideri levento B almeno un colpo va a centro.
Usando il procedimento e le notazioni dellesempio precedente si pu
rappresentare levento B come una somma di varianti incompatibili:
B = A 1 A 2 A 3 + A 1A 2 A 3 + A 1 A 2 A 3 + A 1A 2 A 3 + A 1 A 2 A 3 + A 1A 2 A 3 + A 1 A 2 A 3
15
1 Calcolo delle probabilit e teorema di Bayes
________________________________________________________________________________________________
(
A = (A B ) A B ) (1.24)
per cui:
( ) ( ) () ( )
p(A ) = p(A B ) + p A B = p(A B ) p(B ) + p A B p B = p(A B ) p(B ) + p A B [1 p(B )]
(1.25)
Si ricorre ad un esempio per chiarire il concetto: si suppone che una popolazione sia
predisposta ad essere attaccata da un virus per il 30%, mentre ovviamente il restante 70%
pi forte dal punto di vista immunitario. Si sa da indagini statistiche che tra gli individui
predisposti se ne ammalano annualmente il 50%, mentre tra quelli pi forti il 20%. Qual
la probabilit che un individuo qualsiasi si ammali?
Sia A levento un individuo si ammala e B levento un individuo predisposto. Si ha:
( )( ) ( )
p(A ) = p(A B )p(B ) + p A B p B = p(A B )p(B ) + p A B [1 p(B )] = 0.5 * 0.3 + 0.2 * 0.7 = 0.29
Come esempio, si immagini che unanalisi sia affidabile al 95%, cio dia risultati positivi se
un individuo malato per il 95% e ugualmente risultati positivi se lindividuo sano per il
restante 5%. E noto che la malattia diffusa tra la popolazione al 1%. Si calcoli la
probabilit che il soggetto sia malato a condizione che il risultato sia positivo.
Sia A levento risultato positivo dellanalisi e sia B levento individuo effettivamente
malato.
16
1 Calcolo delle probabilit e teorema di Bayes
___________________________________________________________________________________________________________
Si ha:
p(A B )p(B ) 0.95 * 0.01
p(B A ) = = = 0.16 .
( )( )
p(A B )p(B ) + p A B p B 0.95 * 0.01 + 0.05 * 0.99
p(A B ) p(B )
( ) p(Bpj(A)A ) = n j j .
p Bj A = (1.27)
p(A B i ) p(B i )
1
17