Sei sulla pagina 1di 7

Politecnico di Milano Scuola di Ingegneria Industriale e dellInformazione

Anno Accademico 2013/2014 - PRIMO semestre


Codice 085941 - STATISTICA BAYESIANA - 10 CFU
Laurea Magistrale di ING MAT - sede LEONARDO
Docente Responsabile del Corso
Prof.ssa Alessandra Guglielmi e-mail: alessandra.guglielmi@polimi.it
Dip. di Matematica, Edicio La Nave (II piano), Campus Leonardo.
Orario di ricevimento: Luned` dalle 10.30 alle 12.30 (no al 31 gennaio 2014), nellucio della docente al
secondo piano del Dipartimento di Matematica (Ed. La Nave), tel. 4641, oppure su appuntamento.
Pagina web
Lindirizzo della pagina web del corso `e su Beep:
https://beep.metid.polimi.it/it
Sulla pagina web compariranno: avvisi agli studenti, testi e soluzioni delle prove in itinere, valutazioni.
Esercitazioni
Dott. Raaele Argiento e-mail: raaele@mi.imati.cnr.it
Orari e Aule
Luned`: 8.15-10.15, aula B.5.3
Gioved`: 8.15-10.15, aula B.5.3(LEZIONE/ESERCITAZIONI)
Venerd`: 8.15 - 10.15, aula B.5.3
Venerd`: 10.15 - 12.15, aula B.5.3 (ESERCITAZIONI).
Libro di testo
Jackman S. (2009). Bayesian analysis for the social sciences.Wiley, New York.
Christensen R., Johnson, W., Branscum, A. Hanson, T.E (2011). Bayesian ideas and data analysis.
CRC Press, Boca Raton (USA).
Software
R, WinBUGS, JAGS.
Altra bibliograa consigliata
1. Hoff, P.(2009). A rst course in Bayesian Statistical Methods. Springer, New York.
2. Cowles M.K. (2013). Applied Bayesian Statistics. Springer.
1
3. Albert J. (2007). Bayesian computation with R. Springer.
4. Lunn D., Jackson C., Best N., Thomas A., Spiegelhalter D. (2013). The BUGS book. CRC
Press.
5. Ntzoufras, I. (2009). Bayesian modeling using WinBUGS. Wiley, New York.
6. Robert C. (2007). The Bayesian Choice, Second Edition. Springer.
7. Ghosh J.K, Ramamoorthi R.V (2003). Bayesian Nonparametrics. Springer.
Programma del corso (pi u aggiornato quello sul sito uciale del
Politecnico)
1. Linferenza dal punto di vista bayesiano: principio di verosimiglianza, distribuzione a priori e a pos-
teriori. Il teorema di Bayes per modelli dominati. Valori di sintesi della distribuzione a posteriori.
Intrepretazione dellinferenza scientica con lapproccio bayesiano. Alcuni esempi con i pi` u comuni
modelli univariati.
2. I tre problemi fondamentali dellinferenza: stima puntuale, verica delle ipotesi e stima intervallare;
confronto fra i metodi bayesiano e frequentista.
3. Distribuzioni a priori. La scelta della distribuzione a priori: distribuzioni non informative; distribuzioni
coniugate e misture, distibuzioni semi-coniugate. Robustezza (cenni).
4. Interpretazione del paradigma bayesiano attraverso la scambiabilit`a. Teorema di rappresentazione di
de Finetti. Linferenza predittiva. Predizione di quantit`a osservabili.
5. Risultati asintotici: consistenza, normalit`a asintotica della distribuzione a posteriori.
6. Introduzione ai metodi computazionali per la statistica bayesiana. Cenni di teoria sulle catene marko-
viane con spazio degli stati generali (irriducibilit`a, distribuzione invariante, Harris-ricorrenza, conver-
genza quasi certa delle medie ergodiche, convergenza in variazione totale della probabilit`a di tranzizione
al passo n). Metodi Markov chain Monte Carlo. Algoritmi Gibbs sampler e Metropolis-Hastings per il
calcolo delle inferenze a posteriori.
7. Verica delladeguatezza del modello e scelta del modello.
8. Modelli gerarchici.
9. Introduzione al modello lineare multivariato. Modelli lineari generalizzati. Modelli lineari gerarchici
con random eects. Stima dei parametri e scelta dei predittori.
10. Analisi della sopravvivenza e adabilit`a per dati censurati e non.Richiami di statistica classica: tasso
di rischio; modelli parametrici (Weibull, gamma, log-normale, extreme-value), modelli increasing e
decreasing failure rate; stimatore di Kaplan-Meier. Prior coniugate e standard, prior non-informative.
Modelli di regressione e modelli accelerated failure time. Modelli proportional hazards. Cenni a sistemi
riparabili in problemi di adabilit`a.
11. Modelli nonparametrici. Il processo di Dirichlet e sue generalizzazioni. Misture di distribuzioni para-
metriche con distribuzione misturante aleatoria, e applicazioni alla stima di densit`a.
12. Cenni a modelli per dati longitudinali e a modelli spaziali.
2
Modalit`a di Valutazione
Lacquisizione dei crediti avviene mediante la valutazione positiva di un esame sostenuto in uno fra i cinque
appelli previsti.
`
E obbligatorio iscriversi ad ogni appello che si intende sostenere.
Ogni appello desame `e articolato in una prova scritta e una orale. Sono ammessi allorale gli
studenti risultati sucienti allo scritto. Lorale verter`a sulla presentazione di un progetto di analisi dei dati;
una relazione di poche pagine va presentata alla docente il giorno dellorale. Si consiglia di preparare una
presentazione su PC.
Calendario delle lezioni e delle esercitazioni
Registro delle lezioni e esercitazioni
07/10/13 LEZ: Presentazione del corso. Una breve introduzione alla statistica bayesiana; esempio con R:
inferenza bayesiana per una proporzione. Ho: Chapter 1.
Un esempio di modello bayesiano gerarchico per dati raggruppati e confronto fra gruppi: esempio con
R, dati su Math scores di 100 scuole USA. Ho: Chapter 8.
10/10/13 LEZ: il teorema di Bayes per eventi; esempio sui test clinici. Jackman: Chapter 1.
Modelli statistici e verosimiglianza. Teorema di Bayes per modelli dominati con dimostrazione. Ap-
punti.
11/10/13 LEZ (4h): Esempio: modello per v.a. iid di Bernoulli con prior Beta, calcolo della distribuzione
nale. Jackman: Sect 2.1.
Esempio: modello per v.a. iid gaussiane con varianza nota, prior gaussiana per la media, calcolo della
distribuzione nale. Jackman: Sect 2.4 e Appendix C.
Stima puntuale, intervalli di credibilit`a, intervalli di credibilit`a a pi` u alta densit`a a posteriori (HPD).
14/10/13 LEZ: verica di ipotesi (per ipotesi H
0
e H
1
della stessa dimensione). Posterior odds, fattore di
Bayes. Esempi. Jackman: Chapter 1.
Distribuzioni predittive; esempio. La scambiabilit`a delle osservazioni; Teorema di rappresentazione
di de Finetti per v.a. binarie e reinterpretazione dellapproccio bayesiano. Jackman: Chapter 1, e
Appunti.
17/10/13 ESE: Richiamo del teorema per il calcolo di densit di un vettore aleatorio funzione di un vettore
aleatorio assolutamente continuo. Distribuzione gamma: Funzione gamma come integrale di Eulero
del secondo tipo, densit`a di una gamma, interpretazione dei parametri come shape, rate e scale. Casi
particolari: esponenziale e chi-quadro. Media, varianza, moda, e studio della funzione dinsit. Propriet`a
della gamma con parametro rate sso: somma di gamma indipendenti, indipendenza fra la somma e
la normalizzazione. Distribuzione Beta: denizione per costruzione come normalizzazione di due
gamma indipendenti con stesso parametro di rate, e denizione mediante la densit, funzione beta come
integrale di Eulero del primo tipo. Calcolo dei momenti, della moda. Interpretazione dei due parametri
come parametri di shape
18/10/13 LEZ: Teorema di rappresentazione di de Finetti per v.a. qualsiasi; approccio bayesiano non-
parametrico. Jackman: Chapter 1, e Appunti.
Introduzione alla scelta della prior.
3
18/10/13 ESE: Distribuzione Dirichlet su R
k
. Denizione costruttiva per normalizzazione di v.a.
gamma indipendenti con stesso parametro di rate, e denizione mediante la densit sul simplesso k 1
dimensionale. Calcolo delle marginali e della covarianza fra le componenti del vettore Dirichlet. Pro-
priet`a di neutralit`a e aggregation. Modello Bernoulli, prior conigata (beta), calcolo dei parametri
della posterior. Calcolo della marginale dei dati. Interpretazione dei parametri della prior con principio
del campione equivalente. Distribuzione predittiva.
21/10/13 LEZ: Il problema della scelta della prior. La famiglia esponenziale. La prior coniugata alla
famiglia esponenziale naturale. La media a posteriori del parametro media come combinazione lineare
della prior guess e della media campionaria. Esempi: iniziale coniugata per il modello condizionato
normale con media incognita e varianza nota e per il modello binomiale. Propriet`a delle distribuzioni
coniugate alla famiglia esponenziale e delle misture nite di coniugate (coniugio, densit`a nello spazio
di tutte le prior, ...). Prior non-informative: signicato, vantaggi e svantaggi. Appunti.
24/10/13 ESE: Calcolo del Bayes factor per modelli con ipotesi nulla semplice (i.e. H
0
: =
=
contro
H
1
: =
0
, con un esempio per il modello Bernoulli-beta. Modello Poisson, prior coniugata
(gamma), calcolo dei parametri della posterior. Interpretazione dei parametri della prior con il principio
del campione equivalente. Calcolo della marginale unidimensionale e della predittiva. Distribizione
binomiale negativa.
25/10/13 LEZ: La prior di Jereys: denizione, invarianza rispetto a trasformazioni biunivoche del parametro.
Esempi di prior di Jereys: modello binomiale con parametro dato dalla probabilit`a di successo p, mod-
ello gaussiano con varianza nota (prior di Jereys per la media), modello gaussiano con media e varianza
incognite. Normalit`a asintotica della densit`a a posteriori. Appunti.
Esempio: modello per v.a. iid gaussiane con media e varianza incognita, prior coniugata (normale-
InvGamma). Jackman: Sect 2.4 e Appendix C.
25/10/13 ESE: Modello Gaussiano con media e varianza incognita: illustrzione dellesempio 2.3
- 2.5 dal libro di Jackman Combimbing information for improved election forecasting, illustrazione
dello script R
28/10/13 LEZ: modello per v.a. iid gaussiane con media e varianza incognita, prior coniugata (normale-
InvGamma). Calcolo della posterior e della predittiva. Prior di Jereys: calcolo della posterior.
Jackman: Sect 2.4 e Appendix C. Il metodo Monte Carlo: stimatori, errori Monte Carlo. Richiamo
alla Legge forte dei grandi numeri e al Teorema centrale del limite. Jackman: Chapter 3.
31/10/13 LEZ: Compositional method. Un esempio con R sui metodi Monte Carlo. Ho: Chapter 4.
4/11/13 LEZ: Alcuni aspetti della teoria delle catene markoviane con spazio degli stati generali: catene
irriducibili, ricorrenti, distribuzione invariante, reversibilit`a. Denizione di Harris ricorrenza e aperi-
odicit`a. Legge dei grandi numeri per catena markoviane: convergenza delle medie ergodiche. Teorema
ergodico per catene markoviane irriducibili, Harris-ricorrenti, aperiodiche (convergenza in variazione
totale). Jackman: Chapter 4.
7/11/13 ESE: Svolgimento in classe della prova desame del del 05/02/2013.
8/11/13 LEZ: Ergodicit`a geometrica e uniforme. Teorema centrale del limite per cateme markoviane. Al-
goritmo Accept-Reject. Algoritmo di Metropolis-Hastings: la distribuzione obiettivo `e la distribuzione
invariante della catena. Jackman: Chapter 5.
8/11/13 ESE: Generazione di numeri pseudo-casuali: panoramica generale sui generatori lineari con-
gruenziali, caratteristiche e propriet`a ad essi associate. Metodo dellinversa generalizzata della funzione
di ripartizione (con dimostrazione). Applicazione del metodo alle variabili aleatorie assolutamente con-
tinue, e discrete. Illustrazione della prima parte dello script generazione.casuale.R
4
11/11/13 LEZ: Esercizio con R: algoritmo random walk Metropolis-Hastings per simulare da una gaussiana
standard. Esercizio con R: random walk Metropolis-Hastings in dimensione 2, analisi delloutput
al variare del fattore di scala nella proposal density e al variare del punto iniziale. Controllo della
convergenza della catena.
14/11/13 LEZ: Inecienza della simulazione Jackman: Chapter 4.
Algoritmo Gibbs sampler bivariato e multivariato.
15/11/13 ESE: Generazione di numeri pseudo-casuali: Trasformazione di v.a. generare una gamma
con shape intero sommando v.a. esponziali, metodo Box-Muller per generare da una gaussiana stan-
dard. Generare da una normale multivariata utilizzando la decomposizione di Cholesky della matrice
delle varianze. Metodi di accettazione riuto (con dimostrazione) descrizione generale dellalgoritmo
e sua interpretazione. Generazione da una legge gamma con shape maggiore di uno con proponente
gamma con parametri ottimali.
Importance Sampling e sampling importance resampling. Illustrazione della seconda parte dello script
generazione.casuale.R
15/11/13 LEZ: Esercizio con R su un algoritmo Gibbs sampler: Chapter 6 del libro di P. Ho. Ho:
Chapter 6.
Il modello lineare gaussiano omoschedastico: prior coniugata per il caso di varianza nota. Jackman
(2009), Sect. 2.5.
18/11/13 LEZ: Modelli lineari: stima dei parametri (di regressione e la varianza dei dati) e distribuzioni
predittive con prior coniugata con varianza incognita, prior g di Zellner, reference prior. Jackman
(2009), Sect. 2.5 e Appendix C.
21/11/13 ESE: Algoritmo di Metropolis-Hastings Modello Chauchy con prior gaussiane sul parametro
di posizione e sul log-scale. Calcolo della distribuzione a posteriori e derivazione di una algoritmo di
metropolis Random-Walk. Scelta della matrice di covarianza della distribuzione Gaussiana proposal.
Illustrazione della prima parte dello script Chauchy.R
22/11/13 LEZ: Esempi con R sul modello lineare. Esempio con jags e rjags con prior NON coniugata:
Esempio 2.15 da Jackman (2009).
22/11/13 ESE: Algoritmo di Metropolis-Hastings e metodi MCMC: Diagnostiche di convergenza:
diagnostica di Geweke, diagnostica di Heidel, diagnostica di Gelman, eective sample size. Calcolo della
predittiva mediante un campione MCMC. La densit`a predittiva come media della densit marginale a
posteriori. Bande di credibilit`a per la densit`a predittiva e per la funzione di ripartizione predittiva.
Illustrazione della seconda parte dello script Chauchy.R bf Gibbs sampler: Illustrazione dello script
Gibbs.R. Problemi legati al Gibbs sampler: variabili altamete correlate.
25/11/13 LEZ: Bont`a di adattamento tramite lapproccio predittivo (replicated data): p-value bayesiani,
residui bayesiani. Esempio con R da Albert (2007).
Bont`a di adattamento secondo lapproccio cross-validation: calcolo di CPO (conditional predictive
ordinate) e di LPML (log-pseudo marginal likelihood). Christensen et al.(2011), Section 4.8-4.9.
28/11/13 ESE: Data-augmented Gibbs sampler: Problemi con dati mancanti. Illustrazione dello
script missing.R per lEsempio Jackman 5.11 Extreme missingness in bivariate normal data. Slice
Sampler: Teorema fondamentale della simulazione, derivazione dellalgoritmo slice sampler come un
particolare Gibbs. Illustrazione dello script Slice.R.
02/12/13 LEZ: Altri Criteri di confronto fra 2 o pi u modelli: Bayes factor, BIC (Bayesian Information
Criterion), AIC (Aikaike Information Criterion), DIC (Deviance Information Criterion). Christensen
et al.(2011), Section 4.8-4.9.
Scelta del modello: distribuzione a priori e a posterior dellindice del modello, scelta del modello che
realizza la moda a posteriori (MAP). Model averaging.
5
02/12/13 LEZ: Gibbs variable selection per la scelta delle covariate in un modello di regressione lineare;
esempio in jags. Ntzoufras (2009), Ch. 11.
05/12/13 LEZ: Modelli lineari generalizzati: ipotesi distribuzionale e strutturale; modello gaussiano, Pois-
son, con risposta binaria. Modelli probit e logit attraverso la rappresentazioni con variabili latenti.
06/12/13 LEZ: Gibbs sampler per modelli probit o logit. Esempio con R (da J. Albert, Sect 10.3). Jack-
man (2009), Chapter 8.
06/12/13 ESE: Il software jags. Come costruire un semplice modello di regressione lineare in jags.
Analisi del dataset Meuse. Illustrazione degli script meuse lm.R e meuse lm.bug. Problema di cor-
relazione fra i parametri della regressione. Riparametrizzazione del modello per migliorare il mixing
della catena a posteriori.
09/12/13 LEZ: I modelli lineari e lineari generalizzati ad eetti misti (xed e random-eects parameters
models). Jackman (2009), Ch. 7.
Esempio con R. Ho (2009), Ch. 11.
Introduzione allanalisi di adabilit` a/sopravvivenza.
12/12/13 ESE: Un modello bayesiano gerarchico per dati longitudinali. Illustrazione dellesempio 11.4.3
(dataset mouse) del libro di Peter Ho A First Course in Bayesian Statistical Methods.
13/12/13 ESE (2h+2h): Esercitazione Interattiva. Scelta delle covariate in modelli di regressione lineare
generalizzata in ambito bayesiano. Prior spike and Slab. Implementazione del modello Stochastic
Search Variable Selection usando il software Jags. Criteri di scelta delle covariate: highest posterior
density (HPD), median probability model (MPM) e hard shrinkage (HS).
19/12/13 LEZ: Denizione tempo di vita, di funzione di rischio (failure rate), modelli IFR e DFR, quantili
di ordine p. Dati censurati: left-, rigth-, interval-censored. Calcolo della verosimiglianza per dati
osservati esattamente e censurati a destra. Principali distribuzioni parametriche per tempi di vita,
e prior tipiche: modello esponenziale con prior gamma coniugata, modello di Weibull, modello log-
normale, modello gamma. Christensen et al. (2011), Ch 12.
20/12/13 LEZ: Modelli di regressione di adabilit`a: il modello di regressione AFT con errore gaussiano,
logistico, di Gumbel; funzioni di sopravvivenza, densit`a, funzioni hazard, funzionale mediana. Il mod-
ello di regressione AFT con tempo di sopravvivenza con distribuzione di Weibull; un esempio con R
e jags per dati censurati: Esempio 13.1.2 da Christensen et al. (2011). Christensen et al. (2011),
Sect. 13.1.
20/12/13 ESE: Discussione sui metodi di selezione delle variabili visti durante lesercitazione interattiva.
Illustrazione degli script, analisi di robustezza e dierenze fra i vari criteri di selezione delle variabile.
09/01/14 LEZ: Introduzione alla statistica bayesiana non parametrica: denizione, sua introduzione
attraverso il Teorema di rappresentazione di de Finetti. Richiami sul Teorema di esistenza di un pro-
cesso stocastico a partire da una famiglia di leggi di dimensione nita. Cenni sul Teorema di esistenza
di una misura di probabilit`a aleatoria, a partire dalle leggi di dimensione nita. La distribuzione di
Dirichlet sul simplesso, e qualche sua propriet`a. La distribuzione di Dirichlet `e coniugata al modello
multinomiale. Il processo di Dirichlet: denizione. Appunti.
10/01/14 LEZ: il processo di Dirichlet: denizione ed esistenza di tale misura di probabilit`a aleatoria,
signicato del parametro misura (misura media e massa totale come parametro di precisione), propriet`a
di coniugio del processo di Dirichlet (media a posteriori come combinazione lineare della media a priori
e della misura empirica), costruzione di Sethuraman (1994). Esempio con R: simulazione di traiettorie
del processo di Dirichlet. Appunti e materiale bibliograco apposito in Beep.
6
10/01/14 ESE: Analisi della sopravvivenza, stimatore di Kaplan-Meier, la libreria survival di R. Il modello
AFT con errore in forma moltiplicativa Weibull e sua rappresentazione scala logaritmica con errore
Gumbel. Denizione, frequentista, dei residui generalizzati per il modello AFT Weibull. Illustrazione
dello script nonrandomeects.r
13/01/14 LEZ: Il processo di Dirichlet seleziona traiettorie discrete, ma ha full support. Convergenza del
processo di Dirichlet al variare della massa totale, distribuzione marginale congiunta di un vettore dal
processo di Dirichlet, e urna di Polya generalizzata. Un campione da un processo di Dirichlet induce
una prior sulla partizione delle label del campione (partizione aleatoria); corrispondente modello per il
clustering dei dati; distribuzione iniziale e nale della partizione aleatoria, e stima di tale parametro;
distribuzione del numero di valori distinti in un vettore dal processo di Dirichlet. Esempio con R.
Appunti e M uller e Rodriguez (2013, Ch 3).
16/01/14 ESE: Il modello AFT con eetti casuali. Predizione per una nuova osservazione proveniente da
un nuovo gruppo. Illustrazione dello script randomeect.r. Augmenting Gibbs sampler per dati
censurati: imputazione dei valori censurati e calcolo delle full conditionals. Illustrazione dello script
gehan.R.
17/01/14 LEZ: Stima di densit`a col modello DPM (Dirichlet Process Mixture). Appunti e M uller e Ro-
driguez (2013, Section 3.2).
17/01/14 ESE: LUrna di Polya. Costruzione del modello bernulli-beta a partire dalla denizione delle
predittiva. Dirichlet process mixture model (DPM). Il problema di stima della densit`a. Flessibilit`a
della prior non parametrica. Modello in forma gerarchica. Cacolo della distribuzione predittiva. Come
integrare analiticamente rispetto al processo di Dirichlet.
20/01/14 LEZ: Esempio con DPpackage su modelli DPM. Modelli GLMM con prior nonparametrica sugli
eetti casuali; esempio con DPpackage. Cenni ai Dependent Dirichlet Process, e lo applicazioni ai
modelli GLMM. Appunti e M uller e Rodriguez (2013, Ch 5)
23/01/14 ESE: Dirichlet process mixture model (DPM) Algoritmi basati sul condizionamento (i.e simu-
lazione delle traiettorie del processo) e algoritmi basati sulla marginalizzazione (i.e. algoritmi ad urna
di Polya). Calcolo analitico delle full conditionals del Polya urns Gibbs sampler di Escobar e West
(1995).
24/01/14 ESE: Dirichlet process mixture model (DPM). Modello con kernel gaussiani e misturante cen-
trata sulla Normale con varianza nota. Come si specializzano le full conditional del Polya urns Gibbs
sampler in questo caso. Illustrazione dello script Polya.R.
7