MCMC Greek

ÅéóáãùãÞ óôï MCMC
ÐáíåðéóôçìéáêÝò ðáñáäüóåéò
Ïéêïíïìéêü ÐáíåðéóôÞìéï Áèçíþí
ÔìÞìá ÓôáôéóôéêÞò
ÐÝôñïò Äåëëáðüñôáò êáé Gareth O. Roberts
Éïýëéïò 2007
Ðåñéå÷üìåíá
1 ÅéóáãùãÞ 1
2 Ï äåéãìáôïëÞðôçò Gibbs 3
2.1 ÄåéãìáôïëÞðôçò Gibbs êáé ÌðåûæéáíÞ ÓôáôéóôéêÞ . . . . . . . . . . . . . . 4
2.2 ÐñïóáõîçìÝíá äåäïìÝíá . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
2.3 ÄåéãìáôïëÞðôçò Gibbs êáé Óýãêëéóç . . . . . . . . . . . . . . . . . . . . . 6
3 Ï áëãüñéèìïò Metropolis-Hastings 7
3.1 Ðáñáäåßãìáôá áëãüñéèìùí Metropolis-Hastings . . . . . . . . . . . . . . . . 8
3.2 Ï äåéãìáôïëÞðôçò áíåîáñôçóßáò . . . . . . . . . . . . . . . . . . . . . . . . 9
3.3 Óõììåôñéêüò ôõ÷áßïò ðåñßðáôïò Metropolis . . . . . . . . . . . . . . . . . . 9
3.4 Áëãüñéèìïé ðïëëáðëáóéáóôéêïý ôõ÷áßïõ ðåñßðáôïõ . . . . . . . . . . . . . . 10
3.5 Áëãüñéèìïé Langevin . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
3.6 Ï äåéãìáôïëÞðôçò ôïõ Gibbs . . . . . . . . . . . . . . . . . . . . . . . . . . 12
3.7 ÌÝèïäïò âïçèçôéêþí ìåôáâëçôþí . . . . . . . . . . . . . . . . . . . . . . . 12
4 Ç èåùñßá ôïõ MCMC 15

4.1 Áëõóßäåò Markov êáé MCMC . . . . . . . . . . . . . . . . . . . . . . . . . 15
4.2 Óýãêëéóç êáôÜ êáôáíïìÞ . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18
4.3 Êåíôñéêü Ïñéáêü èåþñçìá . . . . . . . . . . . . . . . . . . . . . . . . . . . 18
5
6 ÐÅÑÉÅ×ÏÌÅÍÁ
5 ÐñáêôéêÞ åöáñìïãÞ 21
5.1 Äåéãìáôïëçøßá áðü ôéò ðëÞñùò äåóìåõìÝíåò êáôáíïìÝò . . . . . . . . . . . 21
5.2 Ðåñéóóüôåñï ãåíéêïß MCMC áëãüñéèìïé . . . . . . . . . . . . . . . . . . . 21
5.3 ÅöáñìïãÞ êáé áíÜëõóç áðïôåëåóìÜôùí . . . . . . . . . . . . . . . . . . . . 25
5.4 ×ñÞóåéò ôïõ MCMC óôçí êëáóéêÞ óôáôéóôéêÞ êáé áëëïý . . . . . . . . . . . 28
5.5 Ëïãéóìéêü . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30
6 Ðñïóäéïñéóìüò ìïíôÝëïõ ìå ôç ÷ñÞóç MCMC 33

6.1 ÅéóáãùãÞ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
6.2 Õðïëïãéóìüò ðåñéèùñéáêÞò ðéèáíüôçôáò . . . . . . . . . . . . . . . . . . . . 34
6.2.1 Äåéãìáôïëçøßá ãÝöõñáò . . . . . . . . . . . . . . . . . . . . . . . . 34
6.2.2 Äåéãìáôïëçøßá ìïíïðáôéïý . . . . . . . . . . . . . . . . . . . . . . . 36
6.3 MCMC ìÝèïäïé åîåñåýíçóçò-åðéëïãÞò ìïíôÝëïõ . . . . . . . . . . . . . . . 37
6.3.1 Äåãìáôïëçøßá áíåîáñôçóßáò . . . . . . . . . . . . . . . . . . . . . . 37
6.3.2 Reversible jump . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37
7 ¸íá åðåîçãçìáôéêü ðáñÜäåéãìá 41

7.1 Metropolis-within Gibbs . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42
7.2 Collapsed áëãüñéèìïò . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43
7.3 Äåéãìáôïëçøßá áíåîáñôçóßáò . . . . . . . . . . . . . . . . . . . . . . . . . . 44
7.4 Ï ðïëëáðëáóéáóôéêüò áëãüñéèìïò ôõ÷áßïõ ðåñßðáôïõ . . . . . . . . . . . . . 47
ÊåöÜëáéï 1
ÅéóáãùãÞ
Ïé MCMC (Markov chain Monte Carlo) áëãüñéèìïé ÷ñçóéìïðïéïýíôáé ôþñá åõñÝùò ïõóéá-
óôéêÜ óå üëåò ôéò ðåñéï÷Ýò ôçò ÓôáôéóôéêÞò. ÅéäéêÜ, åöáñìïãÝò ÷ùñéêÞò ÓôáôéóôéêÞò ðïõ
óõíáíôþíôáé óôçí áñ÷Þ ôçò áíÜðôõîçò ôçò ìåèoäïëïãßáò MCMC (?), ðáñÝ÷ïõí Ýíá áðü ôá
ðéï ðñïêëçôéêÜ ðñïâëÞìáôá óôéò ôå÷íéêÝò ôïõ MCMC. Äåí èá Ýðñåðå íá ìáò åêðëÞóóåé ôï
ãåãïíüò üôé ïé ðåñéóóüôåñåò áðü ôéò ìïíôÝñíåò åéóáãùãÝò ôïõ èÝìáôïò äßíïõí Ýìöáóç óôçí
ðñïóáñìïóôéêüôçôá êáé óôç ãåíéêüôçôá ôïõ MCMC êáé áõôü èá êÜíïõìå êé åìåßò åäþ.
Ôï ðñüâëçìá ôï ïðïßï áíáëýåé ç ìÝèïäïò MCMC åßíáé ãíùóôü ìÝóá áðü ôï åõñý öÜóìá
ôùí åðéóôçìþí óõìðåñéëáìâáíïìÝíùí ôçò ÖõóéêÞò, ôçò ÐëçñïöïñéêÞò êáé ôçò ÓôáôéóôéêÞò.
Ìáò åíäéáöÝñåé íá ðñïóïìïéþóïõìå áðü ìéá ðéèáíüôçôá êáôáíïìÞò, áò ôçí ðïýìå (x).
Ðáñüëï ðïõ ç óõíÜñôçóç (·) ìðïñåß íá ãñáöåß óå óõíåðôõãìÝíç ìïñöÞ (ôïõëÜ÷éóôïí ùò
ðñïò ìéá óôáèåñÜ êáíïíéêïðïßçóçò), áò õðïèÝóïõìå üôé åíäéáöåñüìáóôå ãéá ôéò ñïðÝò ôçò
ðïõ äåí åßíáé õðïëïãßóéìåò áíáëõôéêÜ. ÅðéðëÝïí ç ðñïóïìïßùóç áðåõèåßáò áðü ôçí
ìðïñåß íá åßíáé äýóêïëç Þ áäýíáôç, ßóùò åîáéôßáò ôùí ìåãÜëùí äéáóôÜóåùí ôçò, êáé Ýôóé ï
áðëüò Monte Carlo õðïëïãéóìüò ôùí ñïðþí ôçò åßíáé áäýíáôïò. Ç ìÝèïäïëïãßá MCMC
áíôéìåôùðßæåé ôï ðñüâëçìá ìå ôï íá ðñïóïìïéþíåé áðü ôçí áëõóßäá Marêov ôçò ïðïßáò ç
êáôáíïìÞ éóïññïðßáò åßíáé .
¼ðùò èá äïýìå, õðÜñ÷ïõí ìüíï 2 âáóéêÝò ôå÷íéêÝò ðïõ ÷ñçóéìïðïéïýíôáé óôï MCMC. Ç
ìéá ÷ñçóéìïðïéåß ôç ëïãéêÞ äÝ÷ïìáé/áðïññßðôù ãéá íá \äéïñèþóåé" ìéá áõèáßñåôç áëõóßäá
Markov Ýôóé þóôå íá êÜíåé ôçí óôÜóéìç êáôáíïìÞ. ÁõôÞ ç ìÝèïäïò åßíáé âáóéêÜ ï
áëãüñéèìïò Metropolis-Hastings. Ç Üëëç ìÝèïäïò áðëïðïéåß ôï ðñüâëçìá ôùí ðïëëþí
äéáóôÜóåùí ìå ôï íá ðñïóïìïéþíåé áðü äéáöïñåôéêÝò óõíéóôþóåò ìéêñüôåñùí äéáóôÜóåùí
ôçò X = (X (1) ; : : : X (d) ). ÁõôÞ ç éäÝá åßíáé ç ïõóßá ôïõ ÄåéãìáôïëÞðôç Gibbs (Gibbs
sampler). ÕðÜñ÷ïõí ðïëëïß êáé äéÜöïñïé ôñüðïé íá åöáñìïóôïýí ïé äýï áõôÝò ìÝèïäïé êáé
1
2 ÊÅÖÁËÁÉÏ 1. ÅÉÓÁÃÙÃÇ
ìðïñïýí íá óõíäõáóôïýí ìå ðïëëïýò äéáöïñåôéêïýò ôñüðïõò áíÜëïãá ìå ôï ðñüâëçìá.

Èá êÜíïõìå ìéá åéóáãùãÞ óôéò ìåèüäïõò MCMC óôï ãåíéêü ðëáßóéï ôçò ÓôáôéóôéêÞò.
Ï óêïðüò ìáò äåí åßíáé íá äþóïõìå ìéá ðåñéåêôéêÞ ðñáãìÜôåõóç ôïõ èÝìáôïò, êáé ïé
åíäéáöåñüìåíïé áíáãíþóôåò ðïõ èÝëïõí íá ìÜèïõí ðåñéóóüôåñá èá ðñÝðåé íá äéáâÜóïõí ôá
ðéï ðñüóöáôá äéáèÝóéìá êåßìåíá ðÜíù óôï èÝìá, äåßôå ãéá ðáñÜäåéãìá ?, ?, ?, ?, êáé ?.
Åíôïýôïéò èá åîáóöáëßóïõìå áñêåôÝò ëåðôïìÝñåéåò ãéá íá äþóïõìå óôïí áíáãíþóôç ìéá
ðåñßëçøç ôùí ôå÷íéêþí, ôçí áðÝñáíôç ãåíéêüôçôá êáé éó÷ý ôïõò, êáé êÜðïéåò áðü ôéò ðéï
êïéíÝò ðáãßäåò ðïõ õðÜñ÷ïõí óôçí åöáñìïãÞ ôïõò.
ÊåöÜëáéï 2
Ï äåéãìáôïëÞðôçò Gibbs
Ï ðéï åìöáíÞò ôñüðïò ãéá íá ìåôáôñÝøïõìå Ýíá äýóêïëï ðñüâëçìá ðñïóïìïßùóçò óå ðïëëÝò
äéáóôÜóåéò óå ðéï âïëéêü, åßíáé íá ôï ìåéþóïõìå óå ðïëëÝò ðéï åý÷ñçóôåò êáé ìéêñþí
äéáóôÜóåùí ðñïóïìïéþóåéò. Ðïëëïß MCMC áëãüñéèìïé ôï êÜíïõí áõôü, áëëÜ ç ðéï áðëÞ
ìïñöÞ ôçò óôñáôçãéêÞò áõôÞò åßíáé ï ÄåéãìáôïëÞðôçò Gibbs
ÕðïèÝóôå üôé èÝëïõìå íá ðÜñïõìå äåßãìá áðü ôçí ðïëõìåôáâëçôÞ êáôáíïìÞ (x(1) ; : : : ; x(d) ).
(Ôþñá èá õðïèÝóïõìå üôé áðü åäþ êáé óôç óõíÝ÷åéá ôïõ êåöáëáßïõ ïé êáôáíïìÝò åßíáé
óõíå÷åßò áëëÜ üëá åðåêôåßíïíôáé Üìåóá óôéò äéáêñéôÝò êáôáíïìÝò). Èá ÷ñçóéìïðïéïýìå
ðÜíôá ôéò óõíéóôþóåò óå ðáñÝíèåóç óôïõò åêèÝôåò, Ýôóé þóôå ïé ôõ÷áßåò ìåôáâëçôÝò ðïõ
êáôáíåìÞèçêáí óýìöùíá ìå ôï íá ìðïñïýí íá ãñáöïýí X = (X (1) ; : : : X (d) ), êáé ç
õðïèåôéêÞ êáôáíïìÞ ôçò i-óôçò äåóìåõìÝíçò óõíéóôþóáò äåäïìÝíùí ôùí õðüëïéðùí óýìöù-
íá ìå ôçí èá ãñÜöïíôáé áðëÜ óáí ç äåóìåõìÝíç X (i) |(X (1) ; : : : ; X (i−1) ; X (i+1) ; : : : ; X (d) .
Ïé d äåóìåõìÝíåò êáôáíïìÝò áõôïý ôïõ ôýðïõ ïñßæïíôáé óáí ðëÞñùò äåóìåõìÝíåò êáôáíïìÝò
(full conditional distributions).
Ï äåéãìáôïëÞðôçò Gibbs óåéñéáêÜ êáé óõíå÷üìåíá ðñïóïìïéþíåé áðü ôéò äåóìåõìÝíåò
êáôáíïìÝò ôçò êÜèå óõíéóôþóáò äåäïìÝíùí ôùí Üëëùí óõíéóôùóþí. Ï áëãüñéèìïò áêïëïõ-
èåß ôá ðáñáêÜôù âÞìáôá.
Áëãüñéèìïò 1 : Ï äåéãìáôïëÞðôçò Gibbs
1. ÎåêéíÞóôå ìå X 0 = (X0(1) ; : : : ; X0(d) ).
2. Ðñïóïìïéþóôå X1(1) áðü ôçí äåóìåõìÝíç X (1) |(X0(2) ; : : : ; X0(d) ).
3
4 ÊÅÖÁËÁÉÏ 2. Ï ÄÅÉÃÌÁÔÏËÇÐÔÇÓ GIBBS
Ðñïóïìïéþóôå X1(2) áðü ôçí äåóìåõìÝíç X (2) |(X1(1) ; X0(3) ; : : : ; X0(d) ).

:::
Ðñïóïìïéþóôå X1(d) áðü ôçí äåóìåõìÝíç X (d) |(X1(1) ; : : : ; X1(d−1) ).
ÅðáíáëÜâåôå ôç äéáäéêáóßá.
Ïé ðñáãìáôïðïéÞóåéò X 1 ; X 2 ; : : : ðïõ ðñïÞëèáí áðü ôï åðáíáëçðôéêü âÞìá 2 ðñïóïìïéþèçêáí

áðü ìßá áëõóßäá Markov. Õðü Þðéåò óõíèÞêåò ïìáëüôçôáò (?), ç óýãêëéóç ôçò áëõóßäáò
áõôÞò óå óôÜóéìç êáôáíïìÞ (x(1) ; : : : ; x(d) ) åßíáé åããõçìÝíç, Ýôóé þóôå áêüìá êáé ãéá
(d) (d)
áñêåôÜ ìåãÜëï k, ïé ôéìÝò (x(1)k ; : : : ; xk ); : : : ; (xn ; : : : ; xn ) ìðïñïýí íá èåùñçèïýí óáí
(1)
ðñáãìáôïðïéÞóåéò áðü ôçí êáôáíïìÞ áõôÞ.
2.1 ÄåéãìáôïëÞðôçò Gibbs êáé ÌðåûæéáíÞ ÓôáôéóôéêÞ

Ç áëõóßäá ôïõ Markov Monte Carlo åðéíïÞèçêå 50 ÷ñüíéá ðñéí áðü ôïõò ? ìå óêïðü
íá ÷ñçóéìïðïéçèåß óôéò åöáñìïãÝò ôçò ÓôáôéóôéêÞò öõóéêÞò. Åßíáé ðåñßåñãï ðïõ Ýãéíå
äéáäåäïìÝíç óôçí óçìåñéíÞ ÓôáôéóôéêÞ ìüëéò ðñüóöáôá. Ï äåéãìáôïëÞðôçò ôïõ Gibbs
åìöáíßæåôáé óôç ÓôáôéóôéêÞ âéâëéïãñáößá ðïõ ÷ñïíïëïãåßôáé áðï ôïí ?, äåßôå ôçí Ýñåõíá
ôïõ ?. ¸ãéíå ãíùóôüò óå ïñéóìÝíåò ðåñéï÷Ýò åöáñìïãþí, éäéáßôåñá áíáëýóåéò åéêüíáò, äåßôå
ãéá ðáñÜäåé-ãìá ôï ?. Åíôïýôïéò, ç ãåíéêÞ äçìïôéêüôçôÜ ôçò óôç óôáôéóôéêÞ áíáðôý÷èçêå
ìüíï ùò áðïôÝëåóìá ôùí ?. ÁõôÞ ç åñãáóßá åîåôÜæåé ìüíï ôéò åöáñìïãÝò ôïõ äåéãìáôïëÞðôç
ôïõ Gibbs (ðïõ Þôáí áêüìá êáé ôüôå ãíùóôü üôé åßíáé ìéá åéäéêÞ ðåñßðôùóç MCMC) óå
ÌðåûæéáíÜ ðñïâëÞìáôá óõìðåñáóìáôïëïãßáò. ¹ôáí ãíùóôü áêüìá êé áñãüôåñá üôé ðéï
ãåíéêïß áëãüñéèìïé Metropolis-Hastings õéïèåôÞèçêáí åõñÝùò óôéò óôáôéóôéêÝò åöáñìïãÝò,
åéäéêüôåñá ÷Üñéí óôïõò ?.
Áí êáé õðÜñ÷ïõí ðïëëÝò åöáñìïãÝò ôïõ äåéãìáôïëÞðôç Gibbs åêôüò ôçò ðåñéï÷Þò ôçò
ÌðåûæéáíÞò óôáôéóôéêÞò, ïé ÌðåûæéáíÝò åöáñìïãÝò åßíáé áíáìößâïëá áõôÝò ðïõ óõíäÝïíôáé
Üìåóá. Óå áõôÞí ôçí ðåñßðôùóç, ôï äéÜíõóìá X áíôéðñïóùðåýåé Ýíá äéÜíõóìá ðáñáìÝôñùí
ðïõ óõíÞèùò áíáðáñßóôáôáé ìå θ. Ç Ýëîç ôïõ MCMC óôï Ìðåûæéáíü ðëáßóéï ðñïÝñ÷åôáé
áðü ôï ãåãïíüò üôé ç åöáñìïãÞ ôïõ åßíáé éäéáßôåñá öõóéêÞ óôá ÌðåûæéáíÜ ðñïâëÞìáôá
ðïõ ðáñïõóéÜæïõí äåóìåõìÝíç óõæõãßá (conditional conjugacy). Ç äåóìåõìÝíç óõæõãßá
ðåñéãñÜöåé ôçí êïéíÞ êáôÜóôáóç üðïõ ïé ðëÞñåéò õðïèåôéêÝò êáôáíïìÝò ðïõ åðéëÝãïíôáé
óôïí áëãüñéèìï 1 ðáñáðÜíù, ðñïÝñ÷ïíôáé áðü ðáñáìåôñïðïéçìÝíåò ïéêïãÝíåéåò ôõðïðïé-
çìÝíùí êáôáíïìþí, êÜíïíôáò êáôÜ óõíÝðåéá ôá âáóéêÜ âÞìáôá óôïí áëãüñéèìï 1 áðëÜ. Ï
2.2. ÐÑÏÓÁÕÎÇÌÅÍÁ ÄÅÄÏÌÅÍÁ 5
äåéãìáôïëÞðôçò Gibbs Ý÷åé áðïäåé÷èåß éäéáßôåñá åðéôõ÷Þò óôçí åöáñìïãÞ ôïõ óôçí Ìðåûæé-
áíÞ áíÜëõóç ôùí êáôçãïñéþí ôùí ìïíôÝëùí ðïõ ðåñéÝ÷ïõí äåóìåõìÝíç äïìÞ áíåîáñôçóßáò,
ïðüôå áõôü áðëïðïéåß ðåñáéôÝñù ôç ìïñöÞ ôùí ðëÞñùò äåóìåõìÝíùí ðõêíïôÞôùí ìÝóá
óôïí áëãüñéèìï 1. ÓçìáíôéêÜ ðáñáäåßãìáôá ðåñéëáìâÜíïõí ðïëëÝò êáôçãïñßåò éåñáñ÷éêþí
ìïíôÝëùí, äåßôå ðáñáäåßãìáôïò ÷Üñéí ôï ?, êáé ôá ðñïâëÞìáôá ìå åëëéðÞ óôïé÷åßá. Äåßôå
åðßóçò ôï BUGS (http://www.mrc-bsu.cam.ac.uk/bugs/) ãéá ëïãéóìéêü åéäéêÜ ãéá ôç
äåéãìáôïëçøßá Gibbs óôá éåñáñ÷éêÜ ìïíôÝëá.
2.2 ÐñïóáõîçìÝíá äåäïìÝíá

Ôá ÐñïóáõîçìÝíá äåäïìÝíá (Data augmentation) åßíáé ìéá ôå÷íéêÞ ðïõ ìðïñåß íá ôç äåé
êáíåßò óáí ìéá åéäéêÞ ðåñßðôùóç ôïõ äåéãìáôïëÞðôç Gibbs. Ìðïñåß íá åöáñìïóèåß åîßóïõ
êáëÜ óôéò äýï ðåñéðôþóåéò ðïõ áêïëïõèïýí.
1. ¸íá áðü ôá âáóéêÜ ðñïâëÞìáôá ðïõ ðåñéïñßæïõí ôçí õðïëïãéóôéêÞ ÓôáôéóôéêÞ åßíáé
ôï ãåãïíüò üôé ìåñéêÜ áðü ôá äåäïìÝíá ìðïñåß íá ëåßðïõí. ÈåùñçôéêÜ ç êáôáíïìÞ
ôùí ðáñáôçñçèÝíôùí äåäïìÝíùí èá ìðïñïýóå íá êáôáóêåõáóèåß ïëïêëçñþíïíôáò ôá
åëëéðÞ äåäïìÝíá. Ùóôüóï êÜôé ôÝôïéï åßíáé óõ÷íÜ äýóêïëï áí ü÷é áäýíáôï.
2. Óå ëáíèÜíïíôá ìïíôÝëá (latent models) üðùò ôá ìïíôÝëá ìßîçò êáé ôá êñõììÝíá
ìïíôÝëá Markov (Hidden Markov models), ç ðéèáíoöÜíåéá ìðïñåß íá åêöñáóôåß óáí
ìÝóç ôéìÞ Þ Ýíá ïëïêëÞñùìá üóïí áöïñÜ ôç ëáíèÜíïõóá äïìÞ, áëëÜ óõ÷íÜ áõôÞ ç
Ýêöñáóç äåí ìðïñåß íá õðïëïãéóèåß áðïôåëåóìáôéêÜ. Åíôïýôïéò, ëáìâÜíïíôáò õðüøç
ôç ëáíèÜíïõóá äïìÞ, ç äåóìåõìÝíç ðéèáíüôçôá åßíáé óõ÷íÜ ðïëý áðëïýóôåñç. Óå áõôü
ôï ðñüâëçìá åßíáé ÷ñÞóéìï íá åßíáé óå èÝóç êáíåßò íá ìåôá÷åéñéóôåß ôç ëáíèÜíïõóá
äïìÞ óáí ðñïóáõîçìÝíá äåäïìÝíá (augmented data).
¸óôù y obs åßíáé ôá ðáñáôçñçèÝíôá óôïé÷åßá, y mis ôá åëëéðÞ óôïé÷åßá, êáé θ ç Üãíùóôç
ðáñÜìåôñïò ôçò ðéèáíïöÜíåéáò ìå apriori êáôáíïìÞ ôçí 0 (θ). Ôüôå ôá ðáñáðÜíù ðáñáäåß-
ãìáôá äåß÷íïõí ìéá êáôÜóôáóç óôçí ïðïßá ç (y obs ; ymis | θ) åßíáé äéáèÝóéìç åíþ ç
(y obs | θ) äåí åßíáé. Ùò áðïôÝëåóìá áõôïý, èåùñïýìå ôçí y mis óáí Ýíá ðåñáéôÝñù óýíïëï
ðáñáìÝôñùí Ýôóé þóôå
(θ; y mis |y obs ) ∝ (y obs ; y mis |θ)0 (θ); (2.1)
üðïõ 0 åßíáé ç apriori ðõêíüôçôá ãéá ôï . Ç ðñïóáýîçóç äåäïìÝíùí óõíå÷ßæåôáé ìå

ôçí åêôÝëåóç ôïõ äåéãìáôïëÞðôç Gibbs ðïõ ãåííÜ äéáäï÷éêÜ êáé Y mis ãéá íá ðáñÜãåé
6 ÊÅÖÁËÁÉÏ 2. Ï ÄÅÉÃÌÁÔÏËÇÐÔÇÓ GIBBS
Ýíá äåßãìá áðü ôçí áðü êïéíïý êáôáíïìÞ. Ç ðåñéèþñéá êáôáíïìÞ ôïõ åßíáé åðïìÝíùò ç
aposteriori êáôáíïìÞ ðïõ ìáò åíäéáöÝñåé.
2.3 ÄåéãìáôïëÞðôçò Gibbs êáé Óýãêëéóç

Ï äåéãìáôïëÞðôçò Gibbs êáôáâÜëëåé Ýíá ôßìçìá ãéá ôç ìåßùóç ôçò äéÜóôáóçò ôùí ðñïóïìïé-
þóåùí ðïõ ðñáãìáôïðïéïýíôáé. Áí ïé óõíéóôþóåò X (1) ; : : : X (d) ðáñïõóéÜæïõí éó÷õñÞ
óõó÷Ýôéóç, ôüôå ï áëãüñéèìïò èá óõãêëßíåé áñãÜ êáé èá äþóåé éäéáßôåñá óõó÷åôéóìÝíá
äåßãìáôá. Ìéá ëåðôïìåñÞò ðåñéãñáöÞ ôçò ó÷Ýóçò ìåôáîý ôçò äïìÞò ôçò áõôïóõó÷Ýôéóçò
êáé ôçò óýãêëéóçò åßíáé ðÝñá áðü ôï óêïðü áõôþí ôùí óçìåéþóåùí, êáé ï áíáãíþóôçò
ðáñáðÝìðåôáé óôï ? ãéá ðåñáéôÝñù ðëçñïöïñßåò. ¸íá ðñáêôéêü óçìåßï åßíáé üôé ç åðéëïãÞ
ôçò ðáñáìåôñïðïßçóçò åßíáé êñßóéìç ãéá ôç óýãêëéóç ôïõ äåéãìáôï-ëÞðôç, âëÝðå ðáñáäåßãìáôïò
÷Üñéí ? êáé ?.
ÊåöÜëáéï 3
Ï áëãüñéèìïò Metropolis-Hastings
Ï âáóéêüò áëãüñéèìïò Metropolis-Hastings ðñïóöÝñåé ìéá åõÝëéêôç ïéêïãÝíåéá áðü áëãü-

ñéèìïõò MCMC ðïõ óõìðëçñþíïõí ôïí äåéãìáôïëÞðôç Gibbs. Áñãüôåñá èá äïýìå ðþò
ïé éäÝåò ìðïñïýí íá óõíäõáóôïýí áðïôåëåóìáôéêÜ, áëëÜ åäþ èá åéóáãÜãïõìå ôç ìÝèïäï
Metropolis-Hastings óôçí èåùñçôéêÞ ìïñöÞ ôïõ.
ÕðïèÝóôå üôé åðéèõìïýìå íá ðñïóïìïéþóïõìå áðü ìéá (ðïëõìåôáâëçôÞ) êáôáíïìÞ (x).
¸óôù üôé q(x; y ) åßíáé ìéá ïðïéáäÞðïôå áõèáßñåôç ðéèáíüôçôá ìåôÜâáóçò (äçëáäÞ q(x; y)
åßíáé ç ðõêíüôçôá ðéèáíüôçôáò ôçò êßíçóçò ðñïò ôï y áðü ôï x), áëëÜ áðü ôçí ïðïßá ç
ðñïóïìïßùóç åßíáé Üìåóç. Ôüôå ï áëãüñéèìïò Metropolis-Hastings åßíáé:
Áëãüñéèìïò 2 : Ï Metropolis-Hastings áëãüñéèìïò.
1. ÄïèÝíôïò ôçò n-ïóôÞò ôéìÞò, Xn = x, 'ãåííÞóôå' ìéá `õðïøÞöéá ôéìÞ' y ∗

áðü ôçí ðõêíüôçôá q (x; ·).
2. Õðïëïãßóôå ôï (x; y ∗ ) üðïõ

(
min{ ((xy))qq((y;x
x;y) ; 1}
)
áí (x)q (x; y ) > 0
(x; y) =
1 áí (x)q (x; y ) = 0
3. Ìå ðéèáíüôçôá (x; y ∗ ) äå÷ôåßôå ôçí õðïøÞöéá ôéìÞ êáé

èÝóôå Xn+1 = y ∗ ; äéáöïñåôéêÜ áðïññßøôå êáé èÝóôå Xn+1 = x.
4. ÅðáíáëÜâåôå.
7
8 ÊÅÖÁËÁÉÏ 3. Ï ÁËÃÏÑÉÈÌÏÓ METROPOLIS-HASTINGS
Ï áëãüñéèìïò Metropolis-Hastings Ý÷åé ôï óçìáíôéêü ðëåïíÝêôçìá Ýíáíôé ôïõ Äåéãìáôï-

ëÞðôç Gibbs üôé äåí ÷ñåéÜæåôáé íá åßíáé ãíùóôÝò üëåò ïé ðëÞñåéò äåóìåõìÝíåò êáôáíïìÝò.
ÐñÝðåé ìüíï íá ðñïóïìïéþóïõìå áðü ôçí q ôçí ïðïßá ìðïñïýìå íá åðéëÝîïõìå áõèáßñåôá,
üóï ç q åßíáé óå èÝóç íá ìáò áöÞóåé íá åêôáèïýìå óå üëåò ôéò ðåñéï÷Ýò ôçò èåôéêÞò
ðéèáíüôçôáò êÜôù áðü ôçí (áíÜãùãç áëõóßäá Markov). Óôçí ðñáãìáôéêüôçôá, ðñÝðåé
ìüíï íá îÝñïõìå ôï ùò ðñïò ìéá óôáèåñÜ äåäïìÝíïõ üôé ïðïéåóäÞðïôå óôáèåñÝò ðïõ
ðïëëáðëáóéÜæïíôáé ìå ôï áðëïðïéïýíôáé óôïí áñéèìçôÞ êáé ðáñïíïìáóôÞ êáôÜ ôïí õðïëï-
ãéóìü ôïõ . Tï êüóôïò ãéá ôçí áðëïðïßçóç åßíáé üôé åÜí ç q åßíáé êáêþò åðéëåãìÝíç, ôüôå
Þ ôï ðïóïóôü ôùí áðïññßøåùí ìðïñåß íá åßíáé õøçëü Þ ç êáôáóêåõáóìÝíç áëõóßäá Markov
èá êéíåßôáé ãýñù áðü ôïí ÷þñï ðÜñá ðïëý áñãÜ. Êáé óôéò äýï ðåñéðôþóåéò, áõôü ïäçãåß
óå ðïëý ÷áìçëÞ áðïôåëåóìáôéêüôçôá ôçò äéáäéêáóßáò ãéá Monte Carlo åêôéìÞóåéò. Áõôü
ôï ðñüâëçìá åðéäåéíþíåôáé áðü ôï ãåãïíüò üôé ìéá åðéëïãÞ ôçò q ìðïñåß íá ëåéôïõñãÞóåé
êáëÜ óå ìéá ðõêíüôçôá-óôü÷ï, áëëÜ íá åßíáé åîáéñåôéêÜ áíåðáñêÞò óå Üëëç. ÅðïìÝíùò
åßíáé áäýíáôï íá ïñßóåé êáíåßò áíåîÜñôçôåò óôçí åöáñìïãÞ óôñáôçãéêÝò ãéá ôçí åðéëïãÞ
ôçò .
Óå áíôßèåóç ìå ôïí äåéãìáôïëÞðôç Gibbs (ðïõ ÷ñçóéìïðïéåß óáöþò ôç äïìÞ ôïõ ÷þñïõ
êáôáóôÜóåùí äéÜóôáóçò d), ç êáôáóêåõÞ ôïõ Metropolis-Hastings ðïõ äßíåôáé ðáñáðÜíù
äåí ÷ñåéÜæåôáé êáìßá óáöÞ äïìÞ áõôïý ôïõ ôýðïõ. ¼ðïõ ç êáôÜóôáóç ôïõ äéáóôÞìáôïò
åßíáé, áò ðïýìå, d− äéÜóôáóçò Åõêëåßäéïò ÷þñïò, äåí õðÜñ÷åé êáìßá áðáßôçóç üôé ç áíáíÝùóç
êáèåìéÜò áðü ôéò d óõíéóôþóåò ãßíåôáé ôáõôü÷ñïíá, êáé óõ÷íÜ ìéêñüôåñçò äéÜóôáóçò áíáðñï-
óáñìïãÝò èá áðïäåé÷èïýí õðïëïãéóôéêÜ öôçíüôåñåò (ìéêñüôåñïõ õðïëïãéóôéêïý êüóôïõò)
êáé ó÷åäüí ôï ßäéï áðïôåëåóìáôéêÝò åÜí ç åðéëïãÞ ôùí óõíéóôùóþí ðïõ áíáíåþíïíôáé óå
êÜèå ðåñßðôùóç åðéôñÝðåôáé íá ðïéêßëëåé. Êáô' áõôü ôïí ôñüðï ï äåéãìáôïëÞðôçò Gibbs
ìðïñåß íá öáíåß óáí ìéá åéäéêÞ ðåñßðôùóç ôïõ Metropolis-Hastings óôçí ÐáñÜãñáöï ?? êáé
ðéï ãåíéêÝò óôñáôçãéêÝò èá óõæçôçèïýí ðåñáéôÝñù óôçí ÐáñÜãñáöï ??.
Óôá åðüìåíá, ãéá åõêïëßá óôçí ðáñïõóßáóç, óôá äéáöïñåôéêÜ ðáñáäåßãìáôá ôùí áëãïñßèìùí
Metropolis-Hastings åîåôÜæïõìå ìüíï ôçí ðåñßðôùóç üðïõ (x)q(x; y ) > 0 óôï âÞìá 2 ôïõ
áëãüñéèìïõ 2.
3.1 Ðáñáäåßãìáôá áëãüñéèìùí Metropolis-Hastings

Ôï ðëáßóéï Metropolis-Hastings åßíáé ðïëý ãåíéêü êáé åõÝëéêôï áöïý äåí åðéâÜëëåé êáíÝíáí
ðåñéïñéóìü óôç ìïñöÞ ôçò q åêôüò áðü ìåñéêïýò Þðéïõò üñïõò êáíïíéêüôçôáò ðïõ áðáéôïýíôáé
ãéá íá åîáóöáëßóïõí ôçí áíáãùãéìüôçôá êáé ôçí áðåñéïäéêüôçôá ôçò áëõóßäáò. Äåßôå,
3.2. Ï ÄÅÉÃÌÁÔÏËÇÐÔÇÓ ÁÍÅÎÁÑÔÇÓÉÁÓ 9
ðáñáäåßãìáôïò ÷Üñéí, ôï ?. ¼ëïé ïé áëãüñéèìïé MCMC ðïõ Ý÷ïõí ÷ñçóéìïðïéçèåß ìðïñïýí

íá åêöñáóôïýí ìå áõôÞí ôçí ìïñöÞ. Åäþ èá óõæçôÞóïõìå ðïëëÜ ðáñáäåßãìáôá áðü
ôéò äçìïöéëÝóôåñåò ìïñöÝò ôïõ áëãüñéèìïõ Metropolis-Hastings, áí êáé ç óõëëïãÞ ðïõ
ðåñéãñÜöïõìå äåí åßíáé êáèüëïõ åîáíôëçôéêÞ.
3.2 Ï äåéãìáôïëÞðôçò áíåîáñôçóßáò

Ç áðëïýóôåñç äõíáôÞ åðéëïãÞ ãéá ðñïôåéíüìåíç êáôáíïìÞ åðéëÝãåé ôï q íá åßíáé áíåîÜñôçôï
áðü ôï ðñþôï üñéóìÜ ôïõ:
q(x; y) = q(y) ; (3.1)
üðïõ åðéìÝíïõìå üôé ôï ðåäßï ïñéóìïý ôçò ðåñéëáìâÜíåôáé óå áõôü ôçò q. Åäþ ìðïñïýìå
íá ãñÜøïõìå ½ ¾
w(y)
(x; y) = min ;1 (3.2)
w(x)
üðïõ
(x)
w(x) = : (3.3)
q(x)
Åßíáé óáöÝò üôé ëáìâÜíïíôáò q íá åßíáé áíÜëïãï ôïõ , ôï w åßíáé óôáèåñü êáé ï áëãüñéèìïò
áðëïðïéåßôáé, üðùò èá áíáìÝíáìå, óå äåéãìáôïëçøßá IID (áíåîÜñôçôç êáé éóüíïìç) áðü ôçí
.
3.3 Óõììåôñéêüò ôõ÷áßïò ðåñßðáôïò Metropolis

Oñßæïõìå Ýíáí ôõ÷áßï ðåñßðáôï ìå ðõêíüôçôá ìåôÜâáóçò q(x; y) = qrw (y − x) üðïõ
õðïèÝôïõìå üôé ç qrw åßíáé ìéá óõíÜñôçóç ãéá ôçí ïðïßá éó÷ýåé qrw (x) = qrw (−x) ãéá
üëá ôá x.
Óå áõôÞí ôçí ðåñßðôùóç ç ðéèáíüôçôá áðïäï÷Þò (x; y) áíÜãåôáé óôçí áðëïýóôåñç ìïñöÞ
½ ¾
(y)
(x; y) = min ;1 : (3.4)
(x)
ÊáôÜ óõíÝðåéá ï ìç÷áíéóìüò \äÝ÷ïìáé/áðoññßðôù" ìðïñåß íá åñìçíåõèåß ùò åîÞò: äå÷ôåßôå
üëåò ôéò êéíÞóåéò ðïõ áõîÜíïõí ôçí (\êéíÞóåéò ðñïò ôá ðÜíù"), áëëÜ áðïññßðôïõí ìåñéêÝò
êéíÞóåéò ðïõ ìåéþíïõí ôçí (\êéíÞóåéò ðñïò ôá êÜôù"). Ï áëãüñéèìïò ìåñïëçðôåß ôïí
ôõ÷áßï ðåñßðáôï ìå ôï íá ôïí áíáãêÜæåé íá êéíçèåß ðñïò ôéò êïñõöÝò ôïõ óõ÷íüôåñá áð
üôé íá áðïìáêñõíèåß áðü áõôÝò.

Áí êáé ìéá åéäéêÞ ðåñßðôùóç ôïõ áëãüñéèìïõ Metropolis-Hastings, ï ôõ÷áßïò ðåñßðáôïò ôïõ
Metropolis äéáôçñåß áîéïóçìåßùôç åõêáìøßá áðü ôçí Üðïøç ôçò åðéëïãÞò ôçò êáôáíïìÞò
qrw (·). ÅðéðëÝïí, Ýíá åëêõóôéêü ÷áñáêôçñéóôéêü ãíþñéóìá åßíáé üôé ç åéóÝñ÷åôáé óôïí
áëãüñéèìï ìüíï óôï âÞìá \äÝ÷ïìáé/áðïññßðôù", êÜíïíôáò ôïí áëãüñéèìï åîáéñåôéêÜ åýêïëï
óôçí åöáñìïãÞ. Áõôü ôï Ý÷åé ïäçãÞóåé óôï íá åßíáé ìéá áðü ôéò ðéï åõñýôåñá ÷ñçóéìïðïéç-
ìÝíåò MCMC ìåèüäïõò.
3.4 Áëãüñéèìïé ðïëëáðëáóéáóôéêïý ôõ÷áßïõ ðåñßðáôïõ

Ìéá åíáëëáêôéêÞ åðéëïãÞ ãéá ôïí ôõ÷áßï ðåñßðáôï Metropolis ìðïñåß íá êáôáóêåõáóèåß
áí óêåöôïýìå ôïí áëãüñéèìï ëïãáñéèìéêÜ ôõ÷áßïõ ðåñßðáôïõ, üðïõ ç ðñïôåéíüìåíç êßíçóç
åßíáé óå Ýíá ôõ÷áßï ðïëëáðëÜóéï ôçò ôñÝ÷ïõóáò êáôÜóôáóçò. Áõôü ìðïñåß íá åöáñìïóôåß
üðïôå ç ðåñéï÷Þ äéáóôÞìáôïò ôçò ìåôáâëçôÞò ðåñéëáìâÜíåôáé ìÝóá óôï R+ . Áðü ôçí
ôñÝ÷ïõóá êáôÜóôáóç Xn ðñïôåßíïõìå ìéá êßíçóç óôçí Xn+1 = Xn eZ üðïõ Z ðñïÝñ÷åôáé
áðü ìéá óõììåôñéêÞ ðõêíüôçôá qrw . Ìå Ýíáí áðëü Éáêùâéáíü ìåôáó÷çìáôéóìü ôçò , ç
ðéèáíüôçôá ôçò áðïäï÷Þò ìðïñåß íá áðïäåé÷èåß åýêïëá üôé åßíáé
½ ¾
(Xn+1 )Xn+1
(Xn ; Xn+1 ) = min 1; :
(Xn )Xn
Óçìåéþóôå üôé áõôüò ï áëãüñéèìïò åßíáé éóïäýíáìïò ìå áõôüí ðïõ ëáìâÜíåôáé ðáßñíïíôáò
ôïí ëïãÜñéèìï ìéáò ìåôáâëçôÞò ìå êáôáíïìÞ êáé ôçí åêôÝëåóç ôïõ ôõ÷áßïõ ðåñßðáôïõ
óôçí íÝá ðõêíüôçôá. Ãéá ôéò êáôáóôÜóåéò üðïõ ôï ðåäßï ïñéóìïý ôçò äåí åßíáé öñáãìÝíï
ìáêñéÜ áðü ìçäÝí, Ýíáò óõíåôüôåñïò ìåôáó÷çìáôéóìüò åßíáé ï log(a + x) ãéá êÜðïéá
êáôÜëëçëç èåôéêÞ óôáèåñÜ a. Áõôüò ï áëãüñéèìïò êáëåßôáé ÔñïðïðïéçìÝíïò ðïëëáðëáóéá-
óôéêüò ôõ÷áßïò ðåñßðáôïò (modied multiplicative random walk) êáé áðïöåýãåé ïðïéáäÞðïôå
ðéèáíÜ ðñïâëÞìáôá ðïõ ðñïêáëïýíôáé áðü áõèáßñåôá ìéêñÝò ðñïôåéíüìåíåò êéíÞóåéò ãéá x
êïíôÜ óôï 0.
3.5 Áëãüñéèìïé Langevin

Ïé áëãüñéèìïé Metropolis äåí ÷ñçóéìïðïéïýí êáìßá ðëçñïöïñßá áðü ôçí ðõêíüôçôá-óôü÷ï
Ýôóé þóôå íá êáèïñßóïõí ìéá ëïãéêÞ èÝóç ôùí ðåñéï÷þí ðïõ êéíïýíôáé. ÅðïìÝíùò óôçñßæïíôáé
ðïëý óôï âÞìá \äÝ÷ïìáé/áðïññßðôù" þóôå íá ïäçãÞóïõí ôïí áëãüñéèìï óôéò óùóôÝò
3.5. ÁËÃÏÑÉÈÌÏÉ LANGEVIN 11
ðåñéï÷Ýò. Áõôü åßíáé óõ÷íÜ ìéá åðáñêÞò ëýóç, áëëÜ üðïõ ðåñáéôÝñù ôïðéêÝò ðëçñïöïñßåò
ãéá ôçí ðõêíüôçôá-óôü÷ï (üðùò ç ðáñÜãùãüò ôïõ) åßíáé äéáèÝóéìåò, áõôÞ ç ðëçñïöïñßá
ìðïñåß óõ÷íÜ íá ÷ñçóéìïðïéçèåß ãéá íá ðáñá÷èïýí ðåñéóóüôåñï áðïôåëåóìáôéêÝò ìÝèïäïé.
Ïé ðéï áðëÝò ôÝôïéåò ìÝèïäïé åßíáé ç êáôçãïñßá ôùí áðïêáëïýìåíùí ìåèüäùí Langevin
(?, ?), ïé ïðïßåò ðñïÝñ÷ïíôáé áðü óõíå÷åßò äéáäéêáóßåò äéÜ÷õóçò ÷ñüíïõ ðïõ Ý÷ïõí óôÜóéìç
êáôáíïìÞ . Ï âáóéêüò Langevin áëãüñéèìïò (Lan-gevin algorithm) óôï Rd (ìåñéêÝò öïñÝò
áðïêáëïýìåíïò MALA (Metropolis-adjusted Lan-gevin algorithm) Þ Langevin-Hastings
áëãüñéèìïò) ÷ñçóéìïðïéåß ìéá ðñïôåéíüìåíç êáôáíïìÞ ðïõ äßíåôáé áðü ôçí
½ ¾
1 −ky − x − 2 ∇ log (x)=2k2
q(x; y) = exp ;
(2 )d=2 2 2
ãéá êÜðïéá êáôÜëëçëç ðáñÜìåôñï . ÁõôÞ åßíáé ç ðñïôåéíüìåíç êßíçóç áðü ôï x êáé
õðïôßèåôáé üôé Ý÷åé êáôáíïìÞ äéÜóôáóçò d ðïõ äßíåôáé áðü ôçí N (x+ 2 ∇ log (x)=2; 2 Id ).
Åäþ ôï ∇ ïñßæåé ôï óõíÞèç ôåëåóôÞ ðáñáãþãïõ. Áíôß íá Ý÷åé êÝíôñï ôçí ôñÝ÷ïõóá ôéìÞ,
ôï ðñïôåéíüìåíï êÝíôñï ñõèìßæåôáé óýìöùíá ìå ôéò ðëçñïöïñßåò ãéá ôï ðïõ ç ðõêíüôçôá-
óôü÷ïò åßíáé ðéèáíü íá åßíáé ìåãáëýôåñç.
ÈåùñçôéêÜ áðïôåëÝóìáôá áðü ôïõò ? ðñïôåßíïõí üôé ïé ìÝèïäïé Langevin óå åöáñìïãÝò ìå
ìåãÜëåò äéáóôÜóåéò åßíáé óçìáíôéêÜ áíþôåñïé áðü ôç ÷ñÞóç ôùí áðëïýóôåñùí åíáëëáêôéêþí
üðùò ï áëãüñéèìïò ôõ÷áßïõ ðåñßðáôïõ Metropolis, êáé áõôÜ ôá áðïôåëÝóìáôá åðéâåâáéþíïíôáé
ìå ôç ÷ñÞóç ôùí ìåèüäùí Langevin, üôáí óå ðïëëÝò ðåñéðôþóåéò åßíáé áäýíáôï íá åðéôåõ÷èåß
åðáñêÞò ìßîç ôçò áëõóßäáò Markov ìå ôïí áëãüñéèìï ôõ÷áßïõ ðåñßðáôïõ Metropolis.
¼ðùò ìå ôïí áëãüñéèìï Metropolis, Ýíá âáóéêü ðñüâëçìá åßíáé íá âñåèåß ìéá ëïãéêÞ ôéìÞ
ãéá ôï 2 . ÅÜí ôï 2 åßíáé ðÜñá ðïëý ìéêñü, ïé êéíÞóåéò ãßíïíôáé ðÜíôá áðïäåêôÝò, êáé ï
áëãüñéèìïò åßíáé áíáðïôåëåóìáôéêüò äåäïìÝíïõ üôé êéíåßôáé óôïí ÷þñï áñãÜ. ÁöåôÝñïõ,
ìåãÜëåò ôéìÝò ôïõ 2 ïäçãïýí ôéò ðéï ðïëëÝò ðñïôåéíüìåíåò êéíÞóåéò óôçí áðüññéøç. ¸íá
ðñáêôéêü ðñüâëçìá åßíáé üôé ç óçìáóßá \ìåãÜëï" êáé \ìéêñü" ìÝóá óå áõôü ôï ðëáßóéï
åîáñôÜôáé áðïöáóéóôéêÜ áðü ôï . ÈåùñçôéêÜ áðïôåëÝóìáôá ðïõ äßíïõí ðñáêôéêÞ êáèï-
äÞãçóç ãéá áõôü ôï ðñüâëçìá ãéá ôïí áëãüñéèìï Langevin- Hastings äßíïíôáé áðü ôïõò ?,
åíþ ãéá ãåíéêüôåñïõò áëãüñéèìïõò äåßôå ôï ?.
ÖõóéêÜ, ôßðïôá äåí Ýñ÷åôáé ÷ùñßò êüóôïò, êáé ôï ðñüâëçìá ìå ôçí åöáñìïãÞ ôïõ Langevin-
Hastings ðñïÝñ÷åôáé áðü ôçí áíÜãêç íá õðïëïãéóôïýí ïé ðáñÜãùãïé ôïõ . Óôç ÷åéñüôåñç
ðåñßðôùóç, ïé ðáñÜãùãïé ôïõ ìðïñåß íá ÷ñåéáóôåß íá õðïëïãéóôïýí ìå áñéèìçôéêÝò
ðñïóåããßóåéò. Åíôïýôïéò, óõ÷íÜ, åéäéêÜ óôéò êáôÜëëçëåò åêèåôéêÝò ïéêïãÝíåéåò, êáé üðïõ ç
êáôÜëëçëç äåóìåõìÝíç äïìÞ áíåîáñôçóßáò õðÜñ÷åé, ìéá áíáëõôéêÞ Ýêöñáóç ãéá ôï ∇ log (x)
èá Ý÷åé ìßá áðëÞ ìïñöÞ. Óå áõôÞí ôçí ðåñßðôùóç ôï õðïëïãéóôéêü êüóôïò ôçò åöáñìïãÞò
ôïõ Langevin -Hastings åßíáé óõíÞèùò ó÷åôéêÜ ìÝôñéï.
Ðéï ðåñßðëïêåò ìÝèïäïé Langevin Ý÷ïõí áêüìá êáëýôåñç èåùñçôéêÞ õðïóôÞñéîç áðü ôéò
Langevin- Hastings (?), áëëÜ óõ÷íÜ ç õëïðïßçóç áõôþí ôùí ìåèüäùí åßíáé ðïëý ðéü
÷ñïíïâüñá, ðåñéëáìâÜíïíôáò áîéïëüãçóç ôùí ðåñßðëïêùí åêèåôþí ìå ðßíáêåò óå êÜèå
åðáíÜëçøç ãéá ôçí åöáñìïãÞ ôïõò.
3.6 Ï äåéãìáôïëÞðôçò ôïõ Gibbs

Óôç ìïñöÞ ðïõ ðåñéãñÜöçêå ðáñáðÜíù óôçí ÐáñÜãñáöï ??, ï äåéãìáôïëÞðôçò Gibbs äåí
åßíáé áõóôçñÜ Ýíáò áëãüñéèìïò Metropolis- Hastings üðùò ðåñéãñÜöåôáé óôïí áëãüñéèìï 2.
Åíôïýôïéò ôá âáóéêÜ d âÞìáôá áíáðñïóáñìïãÞò ôïõ åßíáé üëåò ïé áíáðñïóáñìïãÝò Hastings
ìå ðéèáíüôçôåò áðïäï÷Þò áêñéâþò ßóåò ìå 1. Áõôü ðñïêýðôåé èÝôïíôáò
qi (x; y) = (y(i) | x(1) ; : : : x(i−1) ; x(i+1) ; : : : x(d) )
üôáí
(x(1) ; : : : x(i−1) ; x(i+1) ; : : : x(d) ) = (y (1) ; : : : y (i−1) ; y (i+1) ; : : : y (d) )
êáé 0 óå Üëëç ðåñßðôùóç. Åýêïëá åëÝã÷åôáé üôé ìå ìéá ôÝôïéá êáôáíïìÞ ðñüôáóçò, ≡ 1
ìÝóá óôï âÞìá 2 ôïõ áëãïñßèìïõ 2.
3.7 ÌÝèïäïò âïçèçôéêþí ìåôáâëçôþí

Óå Ýíáí ìåãÜëï áñéèìü äéáöïñåôéêþí ðåñéðôþóåùí, åßíáé åõêïëüôåñï íá ðñïóïìïéþóïõìå
ìéá áëõóßäá Markov óå ìéá êáôáíïìÞ-óôü÷ï ìåãáëýôåñçò äéÜóôáóçò áðü áõôÞí ôçí ïðïßá
ôï ìðïñåß íá åîá÷èåß ùò êáôÜëëçëç óôÜóéìç êáôáíïìÞ. Ç Ýííïéá ôùí âïçèçôéêþí
ìåôáâëçôþí auxiliary variables) åéóÞ÷èçóáí óôç óôáôéóôéêÞ öõóéêÞ áðü ôïõò ?, áí êáé
ïé åéäéêÝò ðåñéðôþóåéò åéóÞ÷èçóáí íùñßôåñá, äåßôå åéäéêüôåñá ?. Ïé ìÝèïäïé äåí Ýãéíáí
åõñÝùò ãíùóôÝò óôç óôáôéóôéêÞ ìÝ÷ñé ôïõò ?. Ïé âïçèçôéêÝò ìåôáâëçôÝò ìðïñïýí íá ìçí
Ý÷ïõí êáìßá åñìçíåßá ðïõ íá Ý÷åé ó÷Ýóç ìå ôçí ðõêíüôçôá-óôü÷ï. ÅéóÜãïíôáé óõíÞèùò
áðëþò ãéá íá âåëôéþóïõí ôç ìßîç ôïõ MCMC.
ÕðïèÝóôå X ∼ êáé ìéá âïçèçôéêÞ ìåôáâëçôÞ U ∈ Rl ïñßæåôáé ùò ðñïò ôç äåóìåõíÝíç
3.7. ÌÅÈÏÄÏÓ ÂÏÇÈÇÔÉÊÙÍ ÌÅÔÁÂËÇÔÙÍ 13
êáôáíïìÞ äïèÝíôïò ôïõ X :

U|X = x ∼ h(·|x) (3.5)
(X ; U) åßíáé ôþñá ìßá Rd+l ôõ÷áßá ìåôáâëçôÞ ìå áðü êïéíïý ðõêíüôçôá
E (x; u) ∝ (x)h(u|x) : (3.6)
Áí êáé ðñïöáíþò ðéï ðåñßðëïêç áðü ôçí , ç E ìðïñåß íá åßíáé êáôáëëçëüôåñç ãéá
åîåñåýíçóç ìÝóù MCMC. Ìéá äçìïöéëÞò åöáñìïãÞ ôùí âïçèçôéêþí ìåôáâëçôþí åßíáé
ï äåéãìáôïëÞðôçò öÝôáò (slice sampler), äåßôå ôï ? êáé ?. Ï äåéãìáôïëÞðôçò öÝôáò
÷ñçóéìïðïéåß êáôÜëëçëåò ðáñáãïíôïðïéÞóåéò ôçò ðõêíüôçôáò ãéá íá åéóÜãåé ôéò âïçèçôéêÝò
ìåôáâëçôÝò ãéá íá áðëïðïéÞóåé ôï ðñüâëçìá äåéãìáôïëçøßáò. ÕðïèÝóôå üôé ôï åðéäÝ÷åôáé
ìéá ðáñáãïíôïðïßçóç
l
Y
(x) = f0 (x) fi (x) : (3.7)
i=1
Óõ÷íÜ õðÜñ÷ïõí ðïëý öõóéêÝò ôÝôïéåò ðáñáãïíôïðïéÞóåéò. Ðáñáäåßãìáôïò ÷Üñéí åÜí
åßíáé ç aposteriori ðõêíüôçôá áðü ìéá ÌðåûæéáíÞ áíÜëõóç, f0 èá ìðïñïýóå íá åßíáé ç
apriori êáôáíïìÞ ìå fi íá åßíáé ç óõìâïëÞ óôçí ðéèáíïöÜíåéá áðü ôï iü óçìåßï äåäïìÝíùí,
1 ≤ i ≤ l.
Ôþñá ïñßóôå ôï U óáí l äåóìåõìÝíá áíåîÜñôçôåò óõíéóôþóåò ìå
U (i) |X ∼ U (0; fi (X)) : (3.8)
¸óôù S (u) = {x : u(i) ≤ fi (x); 1 ≤ i ≤ l}, ôüôå åýêïëá ìðïñåß íá äåé êáíåßò üôé ç áðü
êïéíïý ðõêíüôçôá ôùí X êáé U äßíåôáé áðü ôçí
E (x; u) ∝ f0 (x)1[x ∈ S (u)] (3.9)
üðïõ 1[·] óõìâïëßæåé ôç äåßêôñéá óõíÜñôçóç. Óõ÷íÜ ðáßñíïõìå f0 íá åßíáé óôáèåñá, êáé óå
áõôÞí ôçí ðåñßðôùóç, E åßíáé ç ïìïéüìïñöç ðõêíüôçôá óôï ∩li=1 {x : u(i) ≤ fi (x)}.
Ï äåéãìáôïëÞðôçò öÝôáò ðñáãìáôïðïéåß Ýíá äåéãìáôïëÞðôç Gibbs óôï E . Ç äåóìåõìÝíç
êáôáíïìÞ ôïõ U|X êáèïñßæåôáé áðü ôçí (??) êáé ç áðáßôçóç üôé ôá U (i) s íá åßíáé äåóìåõìÝíá
áíåîÜñôçôá. ÅðïìÝíùò áõôü ôï ìÝñïò ôïõ áëãïñßèìïõ åßíáé Üìåóá åöáñìüóéìï. Ï ðéï
ðñïêëçôéêüò óôü÷ïò åßíáé íá ëÜâïõìå äåßãìá áðü ôç X|U äåäïìÝíïõ üôé ðåñéëáìâÜíåé
ðñïóïìïßùóç áðü ìéá ðõêíüôçôá áíÜëïãç ðñïò ôçí ðåñéêïììÝíç óõíÜñôçóç f0 (x)1[x ∈
S (u)]. Áêüìá êáé üôáí ç f0 åßíáé óôáèåñÜ, áõôÞ ç ðñïóïìïßùóç ìðïñåß íá åßíáé äýóêïëç,
äåäïìÝíïõ üôé áðáéôåßôáé ðñïóïìïßùóç áðü ôçí ïìïéüìïñöç êáôáíïìÞ óå ìéá åíäå÷ïìÝíùò
õøçëÞò äéÜóôáóçò ðåñßðëïêçò ðåñéï÷Þò, êáé áõôü ðåñéïñßæåé ôç äõíáôüôçôá åöáñìïãÞò ôïõ
äåéãìáôïëÞðôç öÝôáò. Åíôïýôïéò ïé ? êáé ? ðñïóöÝñïõí äéÜöïñåò ðéèáíÝò óôñáôçãéêÝò ãéá
íá åêôåëåóôåß áõôü ôï âÞìá ôçò ðñïóïìïßùóçò.
Ï ? åðéêåíôñþíåôáé óôçí ðåñßðôùóç üðïõ l = 1 êáé ðåñéãñÜöåé ôéò ìåèüäïõò üðïõ ÷ñçóéìïðïéåß
äåéãìáôïëçøßá áðüññéøçò ãéá íá ðÜñåé äåßãìá áðü ôç X|U. Óôï ? âëÝðïõìå üôé óõ÷íÜ
÷ñçóéìïðïéåßôáé ç ðåñßðôùóç l > 1, ìå ôçí åðéëïãÞ ôçò ðáñáãïíôïðïßçóçò íá õðáãïñåýåôáé
áðü ôçí áíÜãêç ôçò áêñéâïýò áíáðáñÜóôáóçò ôïõ S (U) ùò ðåñéïñéóìüò óôéò ðéèáíÝò ôéìÝò
÷þñïõ êáôáóôÜóåùí. Áõôü áðáéôåß ïõóéáóôéêÜ íá åßìáóôå óå èÝóç íá áíáóôñÝøïõìå êÜèå
ìéá áðü ôéò óõíáñôÞóåéò fi ; 1 ≤ i ≤ l.
ÊåöÜëáéï 4
Ç èåùñßá ôïõ MCMC
Ãéá íá êáôáëÜâåé êáíåßò ôç èåùñßá MCMC, åßíáé åðéôáêôéêü üôé ðñÝðåé íá êáôáíïÞóåé
êÜðïéåò âáóéêÝò Ýííïéåò ãéá ôéò áëõóßäåò Markov. Óå áõôÞ ôç ðáñÜãñáöï èá äþóïõìå ôç
óõíïðôéêüôåñç ôùí åéóáãùãþí óôéò äéÜöïñåò óçìáíôéêÝò éäÝåò óôç èåùñßá ôùí áëõóßäùí
Markov. Ðñï÷ùñþíôáò ðåñáéôÝñù óôç èåùñßá èá ìáò áðïóðïýóå áðü ôá êýñéá èÝìáôá áõôþí
ôùí óçìåéþóåùí, ïðüôå óå ðïëëÜ óçìåßá èá áñêåóôïýìå óå ïñéóìÝíåò âáóéêÝò áíáöïñÝò.
¼ëåò ïé Ýííïéåò ðïõ åéóÜãïíôáé åäþ, êáé âÝâáéá ðïëëÝò ðåñéóóüôåñåò, èá ðáñïõóéáóôïýí
óôï ?.
4.1 Áëõóßäåò Markov êáé MCMC

Ìéá Áëõóßäá Markov {Xn ; n ≥ 0} åßíáé ìéá äéáêñéôïý ÷ñüíïõ óôï÷áóôéêÞ áíÝëéîç ìå ôçí
ðáñáêÜôù éäéüôçôá áìíçóßáò:
P [Xn ∈ A | Xn−1 = xn−1 ; Xn−2 = xn−2 ; : : : ; X0 = x0 ]
= P [Xn ∈ A | Xn−1 = xn−1 ]:
ÕðïèÝóôå áñ÷éêÜ üôé ï ÷þñïò êáôáóôÜóåùí, X , åßíáé áñéèìÞóéìïò, êáé Ýóôù Pij = P [Xn =
j | Xn−1 = i], êáé ôï P äçëþíåé ôïí ðßíáêá ìå ôá óôïé÷åßá {Pij }. Ôüôå (P n )ij = P [Xn =
j | X0 = i]. Ìéá áëõóßäá Markov åßíáé
áíÜãùãç áí, ãéá üëá ôá i and j , õðÜñ÷ïõí êÜðïéá n ôÝôïéá þóôå Pijn > 0,
áðåñéïäéêÞ áí, ï ìÝãéóôïò êïéíüò äéáéñÝôçò ôïõ {n : Piin > 0} åßíáé 1 ãéá êÜðïéá i,
15
16 ÊÅÖÁËÁÉÏ 4. Ç ÈÅÙÑÉÁ ÔÏÕ MCMC
Ýììïíç åÜí P [Ç áëõóßäá Markov ãõñßæåé óôï i | îåêßíçóå áðü ôï i] = 1 ãéá üëá ôá i, êáé
èåôéêÜ Ýììïíç áí åßíáé áíÜãùãç, áðåñéïäéêÞ êáé åðáíáëáìâáíüìåíç, êáé {j } åßíáé óõëëïãÞ
ðéèáíïôÞôùí ôÝôïéùí þóôå
lim P n = j (4.1)
n→∞ ij
êáé X
i Pij = j : (4.2)
i
Óçìåéþóôå üôé ãéá ôïí ïñéóìü ôçò áðåñéïäéêüôçôáò, ç åðéëïãÞ ôïõ i äåí åßíáé óçìáíôéêÞ
åöüóïí ç áëõóßäá åßíáé áíÜãùãç. ÁõôÝò ïé Ýííïéåò åßíáé ãíùóôÝò áðü ôç ðñïðôõ÷éáêÞ
ýëç, åíôïýôïéò ãéá ôç èåùñßá ôïõ MCMC èá ðñÝðåé íá åîåôÜóïõìå ðéï ãåíéêïýò ÷þñïõò
êáôáóôÜóåùí áðü ôçí äéáêñéôÞ ðåñßðôùóç. ÕðïèÝóôå ôþñá üôé Ý÷ïõìå êáôáíïìÞ (·) óå Ýíá
÷þñï êáôáóôÜóåùí X . ÁõôÞ ç êáôáíïìÞ ðéèáíüôçôáò åßíáé ðéèáíüí ç aposteriori êáôáíïìÞ,
áëëÜ áõôü ðïõ áîßæåé íá Ý÷ïõìå õðüøç ìáò åßíáé üôé ï X ìðïñåß íá åßíáé ìåãáëýôåñïò áðü
ôï ÷þñï êáôáóôÜóåùí Θ ôùí ðáñáìÝôñùí, ðáñáäåßãìáôïò ÷Üñéí ìðïñåß íá ðåñéëáìâÜíåé ôç
äåßêôñéá ôùí ìïíôÝëùí. Áõôü èá ãßíåé åìöáíÝò óôçí ðáñÜãñáöï ??.
Óõíåðþò, ïé ôå÷íéêÝò ëåðôïìÝñåéåò ôçò ãåíßêåõóçò áðü ôç äéáêñéôÞ óôç óõíå÷Þ ðåñßðôùóç
äåí ðñÝðåé íá ìáò áíçóõ÷ïýí. ÐáñáðÝìðïõìå ôïí åíäéáöåñüìåíï áíáãíþóôç óôá ?, ? Þ
óôï ? ãéá ëåðôïìÝñåéåò.
Óõìâïëßæïõìå ìå P (x; ·) ≡ P (Xt ∈ ·|Xt−1 = x) ôç ðéèáíüôçôá ìåôÜâáóçò (transition
probability) ôçò áëõóßäáò Markov. Ïñßæïõìå ôï ìÝôñï ðéèáíüôçôáò, P ìå
Z
P (A) ≡ (dx)P (x; A) (4.3)
(ãéá ïðïéïäÞðïôå óýíïëï A) ðïõ åßíáé ç êáôáíïìÞ ôçò áëõóßäáò ôïõ Markov ôç ÷ñïíéêÞ
óôéãìÞ t åÜí ç êáôáíïìÞ ìåôÜâáóçò åßíáé P êáé ç êáôáíïìÞ ôç ÷ñïíéêÞ óôéãìÞ t − 1 åßíáé
ãéá Ýíá áõèáßñåôï ìÝôñï ðéèáíüôçôáò . Ìéá áëõóßäá ôïõ Markov Ý÷åé óôÜóéìç êáôáíïìÞ
(stationary (or invariant) distribution) (·) åÜí
P (·) = (·) (4.4)
ðïõ ðåñéãñÜöåé áêñéâþò ôï ãåíéêü ÷þñï êáôáóôÜóåùí ôçò (??). ¸íáò åðáñêÞò áëëÜ
ü÷é áðáñáßôçôïò, üñïò ãéá íá ðáñáãÜãåé ç êáôáíïìÞ ìåôÜâáóçò áëõóßäåò Markov ìå ôçí
áðáñáßôçôç óôÜóéìç êáôáíïìÞ åßíáé ç áíôéóôñåøéìüôçôá. Ç áíôéóôñåøéìüôçôá óõíåðÜãåôáé
4.1. ÁËÕÓÉÄÅÓ MARKOV ÊÁÉ MCMC 17
üôé ç
(dx)P (x; dy ) = (dy)P (y; dx) (4.5)
êáé éóïññïðåß ôçí ðéèáíüôçôá ôçò ìåôÜâáóçò áðü x óôï y ìå áõôÞí áðü ôï y óôï x. ÁõôÞ
ç åîßóùóç åñìçíåýåôáé ùò éóüôçôá ôùí ìÝôñùí ðéèáíüôçôáò: ç áðü êïéíïý êáôáíïìÞ ôçò
ôñÝ÷ïõóáò êáé ôçò åðüìåíçò êáôÜóôáóçò åßíáé éóïäýíáìç ìå åêåßíç ôçò åðüìåíçò êáé ôçò
ôñÝ÷ïõóáò. ÊáôÜ óõíÝðåéá, ç êáôáíïìÞ ðïõ ðñï÷ùñÜ ðñïò ôá åìðñüò óôï ÷ñüíï åßíáé
éóïäýíáìç ìå áõôÞ ðïõ êéíåßôáé ðñïò ôá ðßóù óôï ÷ñüíï, êáé áõôü åîçãåß ç ÷ñÞóç ôïõ
üñïõ áíôéóôñåøéìüôçôá. Ç áíôéóôñåøéìüôçôá óõíåðÜãåôáé üôé ç åßíáé óôÜóéìç êáôáíïìÞ
åöüóïí Z Z
P (dy) = (dx)P (x; dy ) = (dy)P (y; dx) = (dy): (4.6)
Ç ó÷Ýóç ìåôáîý áëõóßäùí ôïõ Markov êáé ôùí ìåèüäùí MCMC ðñïÝñ÷åôáé áðü ôá áêüëïõèá
óçìáíôéêÜ áðïôåëÝóìáôá. ÕðïèÝóôå üôé ìðïñïýìå íá êáôáóêåõÜóïõìå ìéá áðåñéïäéêÞ êáé
áíÜãùãç áëõóßäá Markov ìå ÷þñï êáôáóôÜóåùí X , ôçò ïðïßáò ç óôÜóéìç êáôáíïìÞ åßíáé
(·). Ôüôå, ç âáóéêÞ èåùñßá áëõóßäùí Markov ìáò ëÝåé üôé ãéá ïðïéïäÞðïôå áñ÷éêÞ ôéìÞ x0 ,
ç ðñáãìáôïðïßçóç ôçò áëõóßäáò X1 ; X2 ; X3 ; : : : ðáñÝ÷åé, ìÝóù ôïõ åñãïäéêïý èåùñÞìáôïò,
ìéá ðñáãìáôïðïßçóç ôçò óôÜóéìçò êáôáíïìÞò åöüóïí
Xt → êáôÜ êáôáíïìÞ êáèþò t → ∞ (4.7)
êáé ìßá ðñïóÝããéóç ôùí áðáéôïýìåíùí áíáìåíüìåíùí ôéìþí åðåéäÞ

T
X
T −1
g(Xt ) → E [g (X )] ó÷åäüí âÝâáéá, êáèþò T → ∞; (4.8)
t=1
ãéá ïðïéáäÞðïôå -ïëïêëçñþóéìç óõíÜñôçóç g.

Ãéá ôï MCMC, ç óôÜóéìç êáôáíïìÞ ðéèáíüôçôáò ìáò äßíåôáé êáé áõôÞ åßíáé ç êáôáíïìÞ
áðü ôçí ïðïßá åðéèõìïýìå íá ðñïóïìïéþóïõìå. ÅðïìÝíùò áñêåß íá áðïäåßîïõìå ôçí
ýðáñîç áíáãùãéìüôçôáò êáé ôçò áðåñéïäéêüôçôáò. ÁõôÜ ìðïñïýí óõíÞèùò íá åëåã÷èïýí
åýêïëá óå ìåìïíùìÝíåò êáôáóôÜóåéò, áí êáé åìöáíßæïíôáé ðáñáäåßãìáôá üðïõ ç ÷ñÞóç ôïõ
MCMC áíáôñÝðåôáé áðü ôçí áíáãùãéìüôçôá, êáé Üëëåò óôéò ïðïßåò áõôÞ åßíáé äýóêïëï íá
áðïäåé÷èåß.
Óôéò ðáñáãñÜöïõò ðïõ áêïëïõèïýí èá åñåõíÞóïõìå ðåñéóóüôåñï ôç óýãêëéóç óôçí êáôáíïìÞ
ôçò áëõóßäáò Markov êáé ôçò óýãêëéóçò ôùí åñãïäéêþí ìÝóùí üñùí.
4.2 Óýãêëéóç êáôÜ êáôáíïìÞ

Ç óýãêëéóç óôç óôáóéìüôçôá ôùí áëõóßäùí Markov ìðïñåß íá ìåëåôçèåß ìå ðïéêßëïõò
êáé äéáöïñåôéêïýò êáíüíåò. Óõ÷íÜ âïëéêüò (áí êáé ü÷é áðáñáßôçôïò) åßíáé ç óõíïëéêÞ
áðüóôáóç áðüêëéóçò äåäïìÝíùí äýï ìÝôñùí ðéèáíüôçôáò 1 êáé 2 , ìå
Z
1
k1 − 2 k = |1 (dx) − 2 (dx)| = sup(1 (A) − 2 (A)) : (4.9)
2 X A∈B
¼ôáí 1 êáé 2 Ý÷ïõí ðõêíüôçôåò üóïí áöïñÜ ôï Lebesgue f1 êáé f2 , êáé ôüôå k1 − 2 k =
R
1
2 X
|f1 (x) − f2 (x)|dx.
Ìéá åëÜ÷éóôç áðáßôçóç ãéá ïðïéïäÞðïôå ëïãéêü áëãüñéèìï ìå ðéèáíüôçôåò ìåôÜâáóçò p

åßíáé ç åñãïäéêüôçôá: Ãéá üëá ôá x ∈ X , üôáí n → ∞,
kP n (x; ·) − (·)k := r(x; n) ↓ 0 : (4.10)
Åíôïýôïéò, åßíáé áðáñáßôçôï íá åîåôÜóïõìå ðéï áêñéâåßò óõíèÞêåò óôï r(·; ·) ãéá íá óõãêñß-
íïõìå ôéò äéáöïñåôéêÝò MCMC ìåèüäïõò. ÓõæÞôçóç ãéá ñõèìïýò óýãêëéóçò åßíáé ðÝñá áðü
ôï ðåäßï áõôþí ôùí óçìåéþóåùí, áëëÜ áí åíäéáöÝñåóôå íá ìÜèåôå ðåñéóóüôåñá ãé' áõôü êáé
ôïí ôñüðï ìå ôïí ïðïßï ï ñõèìüò óýãêëéóçò åíüò áëãüñéèìïõ åðçñåÜæåé ôéò ðáñáôçñçèåßóåò
åìðåéñéêÝò éäéüôçôåò ôïõ MCMC, äåßôå ôï ?.
4.3 Êåíôñéêü Ïñéáêü èåþñçìá

Ïé éäéüôçôåò óýãêëéóçò ôïõ áëãüñéèìïõ MCMC óõíäÝïíôáé óôåíÜ ìå åêåßíåò ôùí áðïêáëïý-
ìåíùí ìéêñþí óõíüëùí (ðïõ ìðïñïýí íá õðïôåèïýí üôé åßíáé óõìðáãåßò ðåñéï÷Ýò ãéá ôïõò
áðëïýò áëãüñéèìïõò üðùò ôïõ ôõ÷áßïõ ðåñßðáôïõ Metropolis. ÁõôÝò ìå ôç óåéñÜ ôïõò
óõíäÝïíôáé óôç óõíÝ÷åéá ðïëý óôåíÜ ìå ôçí ýðáñîç êåíôñéêþí ïñéáêþí èåùñçìÜôùí(ÊÏÈ)
ãéá ôçí áëõóßäá Markov, ôá ïðïßá åßíáé óçìáíôéêÜ ãéá ïðïéáäÞðïôå åöáñìïãÞ Monte Carlo.
√
ËÝìå üôé ôï T -ÊÏÈ õðÜñ÷åé ãéá ôç óõíÜñôçóç f , åÜí
ÃP !
T
T 1=2 t=1 f (Xt ) − E (f (X)) → N (0; f Var (f (X))) (4.11)

T
êáôÜ êáôáíïìÞ üóï T → ∞, ãéá êÜðïéï f ∈ (0; ∞), üðïõ f óõìâïëßæåé ôïí ïëïêëçñùìÝíï
áõôïóõó÷åôéóìÝíï ÷ñüíï ãéá ôçí åêôßìçóç ôçò óõíÜñôçóçò f ÷ñçóéìïðïéþíôáò ôçí áëõóßäá
4.3. ÊÅÍÔÑÉÊÏ ÏÑÉÁÊÏ ÈÅÙÑÇÌÁ 19
Markov P , êáé äßíåôáé áðü ôçí

∞
X
f = 1 + 2 f k : (4.12)
k=1
fk åßíáé ç áõôïóõó÷Ýôéóç ôùí {f (Xi ); i = 0; 1; 2; : : :} óå âÞìá k êáé üôáí ç áëõóßäá

èåùñåßôáé üôé Üñ÷éóå áðü ôç óôáóéìüôçôá. Åßíáé öõóéêÜ óçìáíôéêü íá ðñïóðáèÞóïõìå íá
êáôáóêåõÜóïõìå áëõóßäåò Markov ðïõ \áíáìéãíýïíôáé" ãñÞãïñá êáé Ý÷ïõí ìéêñÞ ôéìÞ ãéá
ôï f . Åíôïýôïéò, åßíáé êñßóéìï ãéá åîáñôþìåíç åêôßìçóç ôï f íá åßíáé ðåðåñáóìÝíï.
Ìéëþíôáò ðñü÷åéñá, ç ãåùìåôñéêÞ åñãïäéêüôçôá (üðïõ r(x; n) → 0 ãåùìåôñéêÜ ãñÞãïñá
óáí ìéá óõíÜñôçóç ôïõ n) åßíáé áñêåôÞ ãéá íá ðáñÝ÷ïõìå ÊÏÈ üðïôå ðåñéìÝíïõìå íá
õðÜñ÷ïõí, äçëáäÞ ãéá üëåò ôéò óõíáñôÞóåéò ðïõ Ý÷ïõí ðåðåñáóìÝíåò äåýôåñåò ñïðÝò ùò
ðñïò ôç óõíÜñôçóç-óôü÷ï . Áõôü êáôáäåéêíýåôáé óôï ?. Ðåñéóóüôåñá áðïôåëÝóìáôá
åßíáé äéáèÝóéìá üôáí ç óýãêëéóç åßíáé ðéï áñãÞ, äåßôå ? êáé ? ãéá áðïôåëÝóìáôá óå áõôÞí
ôçí êáôåýèõíóç.
ÊåöÜëáéï 5
ÐñáêôéêÞ åöáñìïãÞ
5.1 Äåéãìáôïëçøßá áðü ôéò ðëÞñùò äåóìåõìÝíåò êáôáíïìÝò

Ç äåéãìáôïëçøßá Gibbs áðáéôåß ôç äõíáôüôçôá íá ðáßñíïõìå äåßãìá áðü üëåò ôéò ðëÞñùò
äåóìåõìÝíåò ðõêíüôçôåò. ÅÜí áõôÝò ïé ðõêíüôçôåò äåí åßíáé ãíùóôÞò ìïñöÞò, áõôü ìðïñåß
íá åßíáé äýóêïëï. ¼ôáí áõôÝò ïé ðõêíüôçôåò åßíáé ìïíïäéÜóôáôåò, áëãüñéèìïé \ìáýñïõ
êïõôéïý" ðïõ ðáñÜãïõí ôá äåßãìáôá áðü ïðïéáäÞðïôå ðõêíüôçôá ìðïñïýí íá ÷ñçóéìïðïéçèïýí.
Ãéá ìéá ðëïýóéá óõëëïãÞ ôÝôïéùí áëãïñßèìùí äåßôå ôï ?. ¸íáò áëãüñéèìïò ìáýñïõ êïõôéïý
ðïõ äåí åíäåßêíõôáé ãéá ôç äåéãìáôïëçøßá Gibbs áíáðôý÷èçêå óôï ?. Åßíáé êáôÜëëçëïò ãéá
ëïãáñéèìéêÜ êõñôÝò (log-concave) ðõêíüôçôåò (áí êáé Ý÷åé ãåíéêåõôåß ãéá ïñéóìÝíïõò ôýðïõò
ìç ëïãáñéèìéêÜ êõñôþí ðõêíïôÞôùí) êáé åßíáé âáóéóìÝíïò óôï ãåãïíüò üôé ïðïéáäÞðïôå
êõñôÞ óõíÜñôçóç ìðïñåß íá öñáãåß áðü ôá ôìçìáôéêÜ ãñáììéêÜ áíþôåñá êáé ÷áìçëüôåñá
öñÜãìáôá, êáôáóêåõáóìÝíá ÷ñçóéìïðïéþíôáò åöáðôïìÝíåò, êáé ÷ïñäÝò, óå óçìåßá óôá
ïðïßá Ý÷ïõìå õðïëïãßóåé ôçí óõíÜñôçóç. Ï áëãüñéèìïò Ý÷åé áðïäåé÷èåß ðïëý ÷ñÞóéìïò óå
ðïëëÜ äçìïöéëÞ ìïíôÝëá, üðùò ôá ðéï êïéíÜ ãåíéêåõìÝíá ãñáììéêÜ êáé áíáëïãéêÜ ìïíôÝëá
êéíäýíïõ üðïõ ïé ðëÞñùò äåóìåõìÝíåò êáôáíïìÝò åßíáé ëïãáñéèìéêÜ êõñôÝò. Äåßôå ôï ?.
5.2 Ðåñéóóüôåñï ãåíéêïß MCMC áëãüñéèìïé

Ïé âáóéêÝò MCMC ìÝèïäïé ðïõ åéóÜ÷èçêáí íùñßôåñá ìðïñïýí íá óõíäõáóôïýí ìå äéÜöïñïõò
ôñüðïõò êáé íá ðáñá÷èïýí ðéï ãåíéêÝò ìÝèïäïé. Óå áõôÞ ôç ðáñÜãñáöï, èá óõæçôÞóïõìå
ìåñéêÝò áðü áõôÝò ôéò ôå÷íéêÝò.
21
22 ÊÅÖÁËÁÉÏ 5. ÐÑÁÊÔÉÊÇ ÅÖÁÑÌÏÃÇ
ÅÜí åßíáé óôÜóéìç ãéá äýï êáôáíïìÝò ìåôÜâáóçò áëõóßäáò Markov, åßíáé åðßóçò óôÜóéìç
åÜí åöáñìüóïõìå ðñþôá ôç ìéá êáé Ýðåéôá ôçí Üëëç, Þ åÜí åðéëÝãïõìå ôõ÷áßá ðïéÜ áðü ôéò
äýï èá åöáñìüæïõìå êÜèå öïñÜ, ê.ë.ð. ÄåäïìÝíïõ üôé áõôü éó÷ýåé åðßóçò åÜí åîåôÜæïõìå
Ýíáí áõèáßñåôï áñéèìü êáôáíïìþí ìåôÜâáóçò, ìáò äßíåôáé Þäç ìéá óõëëïãÞ ôñüðùí íá
ðáñÜîïõìå êáôáíïìÝò ìåôÜâáóçò ìå óôÜóéìç êáôáíïìÞ , ðïõ áí êáé äåí åßíáé áíôéóôñÝøéìåò,
áðïôåëïýíôáé áðü áíôéóôñÝøéìåò óõíéóôþóåò. ¸÷ïõìå äåé Þäç ôï ðáñÜäåéãìá ôïõ äåéãìáôï-
ëÞðôç Gibbs ðïõ êáôáóêåõÜæåôáé ìå ôçí åöáñìïãÞ ìéáò óåéñÜò âçìÜôùí Metropolis-Has-
tings. Åíôïýôïéò, õðÜñ÷ïõí Üëëïé óçìáíôéêïß ôñüðïé ìå ôïõò ïðïßïõò ïé êáôáíïìÝò ìåôÜâá-
óçò óõíäõÜæïíôáé ãéá íá äçìéïõñãÞóïõí ìéá áêüìá ìåãáëýôåñç ãêÜìá äéáèÝóéìùí ôå÷íéêþí
ãéá MCMC.
ÕðÜñ÷ïõí ðïëëïß ôñüðïé íá êáôáóêåõáóôïýí ïé êáôáíïìÝò ìåôÜâáóçò ðïõ åßíáé ôñïðï-
ðïéÞóåéò Þ åðåêôÜóåéò ðåñéóóüôåñùí âáóéêþí MCMC ìåèüäùí. Óõ÷íÜ áõôÝò ïé ôñïðïðïé-
çìÝíåò ìÝèïäïé ìðïñïýí íá åðéôá÷ýíïõí ôéò éäéüôçôåò óýãêëéóçò ôïõ áëãïñßèìïõ. Åíôïýôïéò,
ôÝôïéá âåëôéùìÝíç óýãêëéóç Ýñ÷åôáé ìåñéêÝò öïñÝò ìå ôï êüóôïò ôïõ áõîáíüìåíïõ ÷ñüíïõ
õðïëïãéóìþí, êáé Ýôóé áõôü äåí åßíáé åðáñêÝò ãéá ìéá êáèáñÜ èåùñçôéêÞ óýãêñéóç ôçò
óýãêëéóçò áëõóßäùí Markov ðñïêåéìÝíïõ íá âñïýìå ôïõò ðåñéóóüôåñï áðïôåëåóìáôéêïýò
áëãüñéèìïõò.
Ï äçìïöéëÝóôåñïò áðü áõôïýò åßíáé ï Metropolis-within-Gibbs1 óôïí ïðïßï äåí ìðïñïýìå íá
ðñïóïìïéþóïõìå üëåò ôéò ðëÞñùò äåóìåõìÝíåò êáôáíïìÝò. ¼ðùò ï äåéãìáôïëÞðôçò Gibbs,
ï Metropolis-within- Gibbs áíáíåþíåé ôéò óõíéóôþóåò ðïõ ðåñéãñÜöïõí ôçí ôñÝ÷ïõóá
êáôÜóôáóç. ÕðïèÝóôå üôé ìðïñïýìå íá ãñÜøïõìå x = (x(1) ; : : : ; x(d) ). Óôï i-ïóôü âÞìá, o
äåéãìáôïëÞðôçò Gibbs áíáíåþíåé ôï x(i) óýìöùíá ìå ôçí äåóìåõìÝíç êáôáíïìÞ (x(i) |x(−i) )
üðïõ x(−i) óõìâïëßæåé üëåò ôéò óõíéóôþóåò åêôüò áðü ôï iïóôÞ. Ç ìÝèïäïò Metropolis-
within-Gibbs áíáíåþíåé áêñéâþò ôçí iïóôÞ óõíéóôþóá óýìöùíá ìå Ýíá Metropolis-Hastings
âÞìá ðïõ Ý÷åé ôï (x(i) |x(−i) ) ùò óôÜóéìç êáôáíïìÞ ôïõ.
Õðü êÜðïéá Ýííïéá ï Metropolis-within-Gibbs ìðïñåß íá èåùñçèåß ùò åéäéêÞ ðåñßðôùóç ôïõ
Metropolis-Hastings, áí êáé åßíáé ÷ñÞóéìï íá ôïí äéáêñßíåé êáíåßò áðü áëãïñßèìïõò ðïõ
êÜíïõí áíáíåþóåéò üëùí ôùí äéáóôÜóåùí óå êÜèå âÞìá. Ç ãåíéêüôçôá åßíáé ôï êëåéäß ôçò
óðïõäáéüôçôáò. Åíþ ìïéñÜæåôáé ôï ðëåïíÝêôçìá ôïõ äåéãìáôïëÞðôç Gibbs óôï íá óðÜåé
ìåãÜëåò äéáóôÜóåéò óå Üëëåò ìéêñüôåñåò, äåí ðåñéïñßæåôáé áðü ôçí áíÜãêç íá ðñïóïìïéþíåé
áðü ôéò ðëÞñùò äåóìåõìÝíåò êáôáíïìÝò. ÊáôÜ óõíÝðåéá åßíáé óýíçèåò ãéá Ýíáí áëãüñéèìï
1 Ôï
üíïìá Metropolis-within Gibbs ðñïÝñ÷åôáé áðü ôéò ðñþôåò åöáñìïãÝò üðïõ ïé ðåñéóóüôåñåò
óõíéóôþóåò èá ìðïñïýóáí íá áíáíåùèïýí ÷ñçóéìïðïéþíôáò ôïí äåéãìáôïëÞðôç Gibbs, áëëÜ ãéá Ýíá ìéêñü
áñéèìü ðëÞñùò äåóìåõìÝíùí êáôáíïìþí ïé ñïõôßíåò Metropolis ÷ñçóéìïðïéïýíôáí ãéá íá áíôéêáôáóôÞóïõí
ôá äýóêïëá âÞìáôá áíáíÝùóçò. ¼ðùò ï ßäéïò ï äåéãìáôïëÞðôçò Gibbs, ôï üíïìá åßíáé ìÜëëïí ëÜèïò
äåäïìÝíïõ üôé ìðïñåß åýêïëá íá ðåñéãñáöåß ùò åéäéêÞ ðåñßðôùóç Metropolis- Hastings.
5.2. ÐÅÑÉÓÓÏÔÅÑÏ ÃÅÍÉÊÏÉ MCMC ÁËÃÏÑÉÈÌÏÉ 23
íá ÷ñçóéìïðïéÞóåé d âÞìáôá áíáíåþóåùí áðü ôá ïðïßá ôá ðåñéóóüôåñá ðåñéëáìâÜíïõí

êáèáñÜ Gibbs áíáíåþóåéò óýìöùíá ìå êáôÜëëçëåò äåóìåõìÝíåò êáôáíïìÝò, åíþ ìüíï
ìåñéêÝò äåóìåõìÝíåò óõíéóôþóåò áíôéìåôùðßæïíôáé ÷ñçóéìïðïéþíôáò áõôÞ ôç ãåíéêüôåñç
Metropolis-within-Gibbs äéáäéêáóßá.
Ç äçìïôéêüôçôá áëãïñßèìùí Metropolis-within-Gibbs ðñïÝñ÷åôáé áðü ôçí åõêïëßá ôïõò
óôçí ãåíéêüôçôÜ ôïõò. Áíôßèåôá áðü ôïí ãåíéêüôåñï óõììåôñéêü áëãüñéèìï Metropo-
lis ôõ÷áßïõ ðåñßðáôïõ, åðéôñÝðïõí ôçí åêìåôÜëëåõóç ôçò áíáëõôéêÞò óõæõãßáò ïñéóìÝíùí
õðïèåôéêþí êáôáíïìþí äéáôçñþíôáò Ýíá ìåãÜëï ìÝñïò ôçò ãåíéêÞò åöáñìïóéìüôçôáò ôïõ
áëãüñéèìïõ ôõ÷áßïõ ðåñßðáôïõ.
Ìéá Üëëç äçìïöéëÞò óôñáôçãéêÞ åßíáé ôï blocking: Áíôß íá ðáßñíïõìå äåßãìá áðü êÜèå
óõíéóôþóá X ÷ùñéóôÜ áðü ôçí ðëÞñç äåóìåõìÝíç ðõêíüôçôÜ ôïõ, ðñïóïìïéþíïõìå ôáõôü-
÷ñïíá áðü Ýíá õðïäéÜíõóìá ôïõ X, Ýóôù X(s) . ÁõôÞ ðáñÝ÷åé Ýíáí áëãüñéèìï ðïõ åßíáé
óõ÷íÜ áíþôåñïò áðü ôïí äåéãìáôïëÞðôç Gibbs (?), åí ôïýôïéò ç áíáíÝùóç ìðïñåß íá
áðïäåé÷èåß õðïëïãéóôéêÜ ðÜñá ðïëý äáðáíçñÞ óå ïñéóìÝíåò ðåñéðôþóåéò. Äåßôå ôï ? ãéá
õðïëïãéóôéêÜ áðïôåëåóìáôéêïýò ôñüðïõò íá åêôåëïýíôáé áíáíåþ-óåéò óå blocks üôáí óçìáíôéêÞ
äåóìåõìÝíç áíåîáñôçóßá åßíáé ðáñïýóá.
Ôï blocking ìðïñåß íá óõíäõáóôåß ìå ôïí áëãüñéèìï Metropolis-within-Gibbs üðïõ ßóùò
êÜèå Ýíá áðü ôá blocks áíáíåþíïíôáé óýìöùíá ìå ðïëõäéÜóôáôá Metropolis- Hastings
âÞìáôá. Ìéá ÷ñÞóéìç ðñáêôéêÞ óôñáôçãéêÞ åßíáé ç áêüëïõèç. Ðñïóåããßóôå ôïí ðßíáêá
óõíäéáêýìáíóçò ôçò êáôáíïìÞò-óôü÷ï, êáé óõíôïíßóôå Ýðåéôá ôçí ðñïôåéíüìåíç ðõêíüôçôá
ôõ÷áßïõ Metropolis ðåñßðáôïõ (Þ ôçí ðõêíüôçôá áíåîÜñôçôïõ äåéãìáôïëÞðôç) þóôå íá Ý÷åé
óõíäéáêýìáíóç áíÜëïãç ðñïò ôçí åêôéìçèåßóá óõíäéáêýìáíóç-óôü÷ï. Ç åêôßìçóç ôçò
óõíäéáêýìáíóçò óôü÷ïõ èá ìðïñïýóå íá âñåèåß ìå âÜóç åíüò ðåéñáìáôéêïý «ôñåîßìáôïò»
MCMC Þ, óå ìåñéêÝò ðåñéðôþóåéò, ìÝóù ôïõ áíáëõôéêïý õðïëïãéóìïý ôçò ÅóóéáíÞò ìÞôñáò
ôçò ðõêíüôçôáò óôü÷ïõ óôçí êïñõöÞ ôçò.
Ìéá Üëëç ÷ñÞóéìç ôå÷íéêÞ ðïõ åßíáé óõíÞèùò áðïôåëåóìáôéêÞ üôáí ìðïñåß íá åöáñìïóèåß
óôçí ðñÜîç, åßíáé íá ðåñéèùñéïðïéÞóïõìå êÜðïéåò óõíéóôþóåò êáé Ýðåéôá íá êáôáóêåõÜóïõìå
Ýíáí áëãüñéèìï óôïí åíáðïìåßíáíôá ÷þñï ÷áìçëüôåñçò äéÜóôáóçò. ¼ôáí ï äåéãìáôïëÞðôçò
Gibbs åßíáé åöéêôüò óå áõôü ôï ÷áìçëüôåñçò äéÜóôáóçò äéÜóôçìá, áõôüò ï áëãüñéèìïò
êáëåßôáé óõ÷íÜ collapsed äåéãìáôïëÞðôçò Gibbs. ¸ôóé, áíôß ôçò ðñïóïìïßùóçò, ãéá ðáñÜ-
äåéãìá, ôçò X (1) áðü ôçí äåóìåõìÝíç ðõêíüôçôá X (1) |(X (2) ; : : : ; X (d) ), ìðïñïýìå áíô' áõôÞò
íá ðÜñïõìå äåßãìá áðü ôçí X (1) |X(s) (üðïõ X(s) åßíáé Ýíá õðïóýíïëï (X (2) ; : : : ; X (d) )) ðïõ
Ý÷åé ðáñá÷èåß ïëïêëçñþíïíôáò ôéò õðüëïéðåò ðáñáìÝôñïõò. ÔÝëïò, Ýíá óçìáíôéêü æÞôçìá
ðïõ ðñÝðåé íá åîåôáóôåß ðñïóåêôéêÜ åßíáé ç ðáñáìåôñïðïßçóç. Åßíáé åõñÝùò ãíùóôü üôé
éó÷õñÞ aposteriori åîÜñôçóç ìåôáîý ôùí óõíôåôáãìÝíùí ôçò X ðáñÜãïõí áñãÝò ìßîåéò
MCMC áëãïñßèìùí. Äåßôå, ðáñáäåßãìáôïò ÷Üñéí, ?. Áõôü ôï ðñüâëçìá ìðïñåß íá åßíáé
ðïëý óïâáñü óôá ðñïâëÞìáôá áýîçóçò ðáñáôçñÞóåùí ðïõ ðåñé-ëáìâÜíïõí åëëéðÞ Þ ôá
ëáíèÜíïíôá äåäïìÝíá, üðïõ ç óôáôéóôéêç ðëçñïöïñßá ãéá ôéò Üãíù-óôåò ðáñáìÝôñïõò ðïõ
ðåñéëáìâÜíïíôáé óôá ëáíèÜíïíôá (imputed) äåäïìÝíá åßíáé áñêåôÜ ìåãá-ëýôåñç áðü áõôÞ
ðïõ ðåñéëáìâÜíåôáé ðñáãìáôéêÜ óôá ðáñáôçñçèÝíôá äåäïìÝíá. Áõôü ôï ðñüâëçìá ó÷åôßæåôáé
ðïëý ìå ðáñüìïéåò äõóêïëßåò ðïõ áíôéìåôùðßæïíôáé óôçí åöáñìïãÞ ôïõ áëãïñßèìïõ EM êáé
ôùí ðáñáëëáãþí ôïõ (?).
¸íá äçìïöéëÝò ðáñÜäåéãìá ðïõ êáôáäåéêíýåé ðïëý êáëÜ áõôü ôï ðñüâëçìá åßíáé ï éåñáñ÷éêÜ
êåíôñïðïéçìÝíïò áëãüñéèìïò óôá ÌðåûæéáíÜ ãñáììéêÜ ìïíôÝëá. ÓõãêåêñéìÝíá, õðïèÝóôå
üôé Ý÷ïõìå ôçí áðëÞ äïìÞ
Yi ∼ (i ; e2 ); i = 1; 2 : : : n ;
ìå êáíïíéêÞ apriori êáôáíïìÞ óôá random eects,
i ∼ N (; 2 ); i = 1; 2 : : : n
êáé ìç êáôÜëëçëç apriori êáôáíïìÞ ãéá ôï . Óå áõôÞí ôçí ðåñßðôùóç ìå ðáñáìÝôñïõò

{i ; i = 1; : : : n} êáé , ï äåéãìáôïëÞðôçò Gibbs ðïõ äéáäï÷éêÜ áíáíåþíåé êÜèå ðáñÜìåôñï,
áðïäåéêíýåôáé (?) üôé óõãêëßíåé ìå ãåùìåôñéêü ñõèìü óýãêëéóçò ðïõ äßíåôáé áðü
e2
= ;
e2 + 2
Ýôóé þóôå r(x; n) ≤ V (x)n ãéá êÜðïéá èåôéêÞ óõíÜñôçóç V . Óå áõôü ôï ðëáßóéï ôï
ëáíèÜíïí óôñþìá áðïôåëåßôáé áðü ôá random eects .
Åí ðåñéëÞøåé, ï áëãüñéèìïò ôçò êåíôñïèåôçìÝíçò ðáñáìåôñïðïßçóçò óõãêëßíåé ðïëý áñãÜ
üôáí ôï ëÜèïò ìÝôñçóçò (e2 ) åßíáé ìåãÜëï óå óýãêñéóç ìå ôç äéáêýìáíóç ôïõ ëáíèÜíïíôïò
óôñþìáôïò (2 ). Åíôïýôïéò, õðÜñ÷åé ìéá áðëÞ ðáñáìåôñïðïßçóç ðïõ åðéôñÝðåé ôçí êáëÞ
óýãêëéóç üðïôå ôï ëÜèïò ìÝôñçóçò åßíáé óõãêñéôéêÜ ìåãÜëï. ÁõôÞ åßíáé ç ìç êåíôñïèåôç-
ìÝíç ðáñáìåôñïðïßçóç:
Yi ∼ ( + i ; e2 ); i = 1; 2 : : : n ;
üðïõ êÜèå Ýíá áðü ôá i 's Ý÷åé áíåîÜñôçôåò apriori êáôáíïìÝò ìå ìÝóï ìçäÝí. Ï áëãüñéèìïò
ðïõ äéáäï÷éêÜ áíáíåþíåé êÜèå ìéá áðü ôéò ðáñáìÝôñïõò óå áõôÞ ôçí ðáñáìåôñïðïßçóç
óýìöùíá ìå Ýíáí äåéãìáôïëÞðôç Gibbs ìðïñåß íá áðïäåé÷èåß üôé Ý÷åé ñõèìü óýãêëéóçò
1 − , äåßôå ðÜëé ôï ?. Ðáñüìïéïé ìç-êåíôñïèåôçìÝíïé áëãüñéèìïé ìðïñåß íá åöáñìïóôïýí
óå Poisson ìïíôÝëá ìå random eects êáé áëëïý.
5.3. ÅÖÁÑÌÏÃÇ ÊÁÉ ÁÍÁËÕÓÇ ÁÐÏÔÅËÅÓÌÁÔÙÍ 25
5.3 ÅöáñìïãÞ êáé áíÜëõóç áðïôåëåóìÜôùí
¸íáò ðñáãìáôéêüò êßíäõíïò ôïõ MCMC åßíáé üôé ìðïñåß íá åöáñìïóôåß óå ïõóéáóôéêÜ
ïðïéïäÞðïôå ìïíôÝëï, åßôå ôï ìïíôÝëï åßíáé åßôå ü÷é óôáôéóôéêÜ ëïãéêü. Ïé áëãüñéèìïé
ìðïñïýí íá ðáñáãÜãïõí ðïëý ëïãéêÜ áðïôåëÝóìáôá, áêüìá êáé üôáí ï áñéèìüò ðáñáìÝôñùí
óôï ìïíôÝëï õðåñâáßíåé êáôÜ ðïëý ôï ìÝãåèïò ôïõ óõíüëïõ óôïé÷åßùí. ¸íá ãåíéêü
ðñüâëçìá åßíáé üôé ïé êáôÜëëçëåò apriori ðõêíüôçôåò ìðïñïýí \íá êñýøïõí" ôá ðñïâëÞìáôá
identiability ôïõ ìïíôÝëïõ áöïý ïé êáôáëçêôéêÝò aposteriori ðõêíüôçôåò åßíáé êáôÜëëçëåò
(proper). ¸íáò ôñüðïò íá áðïöåõ÷èåß áõôü åßíáé íá åêôåëåßôáé ðÜíôá ç áíÜëõóç åõáéóèçóßáò
óôéò apriori õðïèÝóåéò ðïõ ðåñéëáìâÜíåé ôçí áíá-ìïíôåëïðïßçóç ìå ìç-ðëçñïöïñéáêÝò apri-
ori êáôáíïìÝs.
¸íá óçìáíôéêü ðñüâëçìá ó÷åôéêÜ ìå ôçí åöáñìïãÞ MCMC åßíáé íá ìåôñïýìå ðüôå ç
óýãêëéóç Ý÷åé åðéôåõ÷èåß, äçëáäÞ ãéá íá áîéïëïãÞóïõìå óå ðïéï óçìåßï ç êáôáíïìÞ ôçò
áëõóßäáò åßíáé åðáñêþò êïíôÜ óôçí áóõìðôùôéêÞ êáôáíïìÞ ãéá üëïõò ôïõò ðñáêôéêïýò
ëüãïõò. Ï áñéèìüò åðáíáëÞøåùí, B , ðïõ áðáéôåßôáé íá éêáíïðïéÞóåé áõôÞ ôç óõíèÞêç
êáëåßôáé burn-in ðåñßïäïò Þ áñ÷éêÞ ìåôáâáôéêÞ öÜóç.
Åßíáé óõíÞèùò ëïãéêü üôé äåßãìáôá ìÝóá óå áõôÞ ôçí (êáô' åêôßìçóç) áñ÷éêÞ ìåôáâáôéêÞ
öÜóç, B , áðïññßðôïíôáé ãéá ôïõò óêïðïýò ôçò Monte Carlo åêôßìçóçò Ýôóé þóôå ç áìåñïëç-
øßá ðïõ ðñïêáëåßôáé áðü ôï áðïôÝëåóìá ôùí áñ÷éêþí ôéìþí ìåéþíåôáé. ¸íá ó÷åôéêü
ðñüâëçìá ðñïóðáèåß íá áîéïëïãÞóåé ðüóåò åðáíáëÞøåéò ÷ñåéÜæïíôáé Ýôóé þóôå ç
T
X
(T − B ) −1
g(Xt )
t=B +1
íá åêôéìÜ ôçí E [g(X )] ìå åðáñêÞ áêñßâåéá ãéá ïðïéåóäÞðïôå óõíáñôÞóåéò g ðïõ ìáò
åíäéáöÝñïõí.
Éäéáßôåñá ãéá ìåãÜëåò äéáóôÜóåéò, ç áîéïëüãçóç ôçò óýãêëéóçò ôïõ MCMC ìå åìðåéñéêÞ
ðáñáôÞñçóç åßíáé åîáéñåôéêÜ äýóêïëç êáé åßíáé óðáíßùò äõíáôü íá åßìáóôå áðïëýôùò óßãïõ-
ñïé üôé ï áëãüñéèìüò ìáò Ý÷åé óõãêëßíåé. Åíôïýôïéò, ìåãÜëïò áñéèìüò ÷ñÞóéìùí äéáãíùóôéêþí
óýãêëéóçò Ý÷åé ðñïôáèåß óôç âéâëéïãñáößá, ïé ðåñéóóüôåñïé ôùí ïðïßùí ðåñéëáìâÜíïõí
ôïí Ýëåã÷ï ìéáò êáôÜëëçëçò óõíÜñôçóçò ôçò áëõóßäáò Markov ôçò ïðïßáò ç åëåã÷üìåíç
óôáôéóôéêÞ óõíÜñôçóç êáëåßôáé äéáãíùóôéêü óýãêëéóçò. ¸÷åé íüçìá íá ÷ñçóéìïðïéïýíôáé
ðïëëáðëÜ äéáãíùóôéêÜ óýãêëéóçò Ýôóé þóôå íá ìåãéóôïðïéåßôáé ç ðéèáíüôçôá åýñåóçò
ðñïâëçìÜôùí óýãêëéóçò. Äåí èá áíáöåñèïýìå óå áõôÜ ôá äéáãíùóôéêÜ åäþ, ãéá ðåñéóóüôåñï
åêôåíåßò áíáèåùñÞóåéò êáé óõãêñßóåéò äåßôå ôá ?, ? êáé ?. ÖõóéêÜ ðñÝðåé õðïãñáì-
ìéóèåß üôé ôá äéáãíùóôéêÜ óýãêëéóçò äåí ìðïñïýí íá åããõçèïýí óýãêëéóç ìå êáíÝíá

ôñüðï. Åíôïýôïéò, üôáí ÷ñçóéìïðïéïýíôáé ðñïóåêôéêÜ, ðáñÝ÷ïõí Ýíá óçìáíôéêü ðñáêôéêü
åñãáëåßï.
Åäþ éêáíïðïéïýìáóôå ìå ìéá óýíôïìç óõæÞôçóç ëïãéêþí äéáäéêáóéþí ãéá ôçí åëá÷éóôïðïß-
çóç ôçò ðéèáíüôçôáò íá áðïôý÷ïõìå íá ðáñáôçñÞóïõìå üôé ç áëõóßäá Markov äåí Ý÷åé
óõãêëßíåé. Åêôüò áðü ôïõò åðßóçìïõò åëÝã÷ïõò óýãêëéóçò ðïõ ðåñéãñÜöïíôáé ðáñáäåßãìá-
ôïò ÷Üñéí óôçí ?, õðÜñ÷åé ìéá óåéñÜ óçìáíôéêþí Üôõðùí åëÝã÷ùí óýãêëéóçò ðïõ ìðïñïýí
íá âïçèÞóïõí óôçí áðïôßìçóç ôçò óýãêëéóçò. Åðéèåþñçóç ãñáöç-ìÜôùí ôùí MCMC
ðñïóïìïéùìÝíùí ôéìþí áðü äéáöïñåôéêÝò áñ÷éêÝò ôéìÝò åßíáé óçìáíôéêÞ áñ÷éêÞ Ýñåõíá
äåäïìÝíïõ üôé ìðïñåß íá áðïêáëýøåé ðéèáíÝò áíùìáëßåò, ðáñáäåßãìáôïò ÷Üñéí ðïëõêüñõöåò
êáôáíïìÝò. Èá ðñÝðåé íá ãßíåé êÜèå ðñïóðÜèåéá ãéá íá åîáóöáëéóôåß üôé ç áëõóßäá Markov
åßíáé óå èÝóç íá åîåñåõíÞóåé ïëüêëçñï ôï ðåäßï ïñéóìïý. Ùò áðïôÝëåóìá áõôïý, ïé ?
õðïóôçñßæïõí Ýíôïíá ôç ÷ñÞóç äéáöüñùí äéáóêïñðéóìÝíùí áñ÷éêþí ôéìþí ãéá ôéò åðáíáëÞøåéò
ðñïóïìïéþóåùí, ßóùò 3 Þ 4 áðïêëßóåéò ìáêñéÜ áðü ôï ìÝóï üñï. ¼ôáí ïé áëõóßäåò ìÞêïõò
T áðü äýï áñ÷éêÝò ôéìÝò åðéóêåöôïýí ïõóéáóôéêÜ äéáöïñåôéêÝò ðåñéï÷Ýò ôïõ ðåäßïõ ïñéóìïý,
ç ðåñßïäïò burn-in ãéá ôïõëÜ÷éóôïí ìéá áðü ôéò áëõóßäåò èá åßíáé ìåãáëýôåñç áðü T . Ç
äéáäéêáóßá ôùí Gelman êáé Rubin åðé÷åéñåß íá ìåãéóôïðïéÞóåé ôçí ðéèáíüôçôá ôçò åýñåóçò
ðñïâëçìÜôùí óýãêëéóçò áõôïý ôïõ ôýðïõ ÷ñçóéìïðïéþíôáò ìéá óõëëïãÞ ôùí áñ÷éêþí ôéìþí
ðïõ åßíáé üóï ôï äõíáôüí ðéï äéáöïñåôéêÝò. Óçìåéþóôå üôé áêüìç êáé ôï ðñüâëçìá ëÞøçò
ôùí õðåñ-äéáóêïñðéóìÝíùí áñ÷éêþí ôéìþí ìðïñåß íá åßíáé äýóêïëï üôáí ëßãá åßíáé ãíùóôÜ
ãéá ôçí ðõêíüôçôá-óôü÷ï.
ÃñáöÞìáôá áõôïóõó÷Ýôéóçò êáé óõí-óõó÷Ýôéóçò éäéáßôåñùí óõíéóôùóþí åðßóçò ðáñÝ÷ïõí
êáëÝò åíäåßîåéò ôçò ìßîçò ôçò áëõóßäáò. Ãéá ôéò óõíáñôÞóåéò f êáé g ðïõ Ý÷ïõí ðåðåñáóìÝíç
äéáóðïñÜ ùò ðñïò ôï , èÝôïõìå rkf íá åßíáé ç äåéãìáôéêÞ óõó÷Ýôéóç ôùí
{(f (Xt ); f (Xt+k )); 1 ≤ t ≤ T − k };
êáé rkf;g íá åßíáé ç äåéãìáôéêÞ óõó÷Ýôéóç ôùí
{(f (Xt ); g (Xt+k )); 1 ≤ t ≤ T − k }:
Ç åìðåéñéêÞ óõíÜñôçóç áõôïóõó÷Ýôéóçò ôçò f (X ) ó÷åäéÜæåé ôçí óõí-óõó÷Ýôéóç ôùí ãñáöç-

ìÜôùí rkf Ýíáíôé ôçò k ãéá k = 0; 1; 2; : : :, åíþ ç (åìðåéñéêÞ) óõíÜñôçóç óõí-óõó÷Ýôéóçò
ôçò f (X ) êáé ôçò g(X ) ó÷åäéÜæåé ôçí rkf;g Ýíáíôé ôçò k ãéá k = 0; 1; 2; : : :. Êáé ïé äýï
óõíáñôÞóåéò ðñÝðåé êáíïíéêÜ íá õðïëïãéóôïýí ìåôÜ áðü ôï ôÝëïò ôçò ðåñéüäïõ burn-in.
5.3. ÅÖÁÑÌÏÃÇ ÊÁÉ ÁÍÁËÕÓÇ ÁÐÏÔÅËÅÓÌÁÔÙÍ 27
ÁõôÜ ôá ãñáöÞìáôá åêôéìïýí ôá èåùñçôéêÜ ãñáöÞìáôá áõôïóõó÷Ýôéóçò êáé óõí-óõó÷Ýôéóçò,

{fk ; k = 0; 1; 2; : : :} êáé {f;g
k ; k = 0; 1; 2; : : :} áíôßóôïé÷á, êáé åßíáé óõíåðåßò õðü ôçí
Ýííïéá üôé ôï limT →∞ rk = fk ó÷åäüí óßãïõñá êáé limT →∞ rkf;g = f;g
f
k ó÷åäüí óßãïõñá
åöáñìüæïíôáò ôçí (??). f0 = 1 êáé ãéá åñãïäéêÞ áëõóßäá Markov limk→∞ fk = 0. Ãéá ìéá
áëõóßäá ãñÞãïñçò ìßîçò, ç óõíÜñôçóç f ðÝöôåé ãñÞãïñá óôï 0 ãéá üëåò ôéò óõíáñôÞóåéò
f , åíþ ãéá ìéá áëõóßäá áñãÞò ìßîçò ç óýãêëéóç óôï ìçäÝí åßíáé ÷áñáêôçñéóôéêÜ ðïëý ðéï
áñãÞ, ôïõëÜ÷éóôïí ãéá ìåñéêÝò óõíáñôÞóåéò. Ðáñüìïéá êáôÜóôáóç éó÷ýåé ãéá ôç óõíÜñôçóç
óõí-óõó÷Ýôéóçò f;g áí êáé ó' áõôÞ ôçí ðåñßðôùóç ç f;g 0 ìðïñåß íá ðÜñåé ïðïéáäÞðïôå ôéìÞ
[−1; 1]. ÅðïìÝíùò ìéá Ýíäåéîç ùò ðñïò ôçí ôá÷ýôçôá ôçò ìßîçò ìðïñåß íá ëçöèåß ìå ôçí
åðéèåþñçóç ôùí ãñáöçìÜôùí ôçò áõôïóõó÷Ýôéóçò êáé óõí-óõó÷Ýôéóçò.
Ìéá óçìáíôéêÞ åðéëïãÞ ðïõ ðñïêýðôåé óå ðïëëÝò åöáñìïãÝò ôïõ áëãüñéèìïõ Metropolis-
Hastings åßíáé ç åðéëïãÞ ôçò äéáóðïñÜò ôçò ðõêíüôçôáò ðéèáíüôçôáò ìåôÜâáóçò q(y; x) óôïí
áëãüñéèìï ??. Ðáñáäåßãìáôïò ÷Üñéí, åÜí ç ðñïôåéíüìåíç äéáóðïñÜ åßíáé ðïëý ìéêñÞ ãéá ìéá
óõãêåêñéìÝíç êáôáíïìÞ-óôü÷ï, ç ìßîç áëõóßäáò ôïõ Markov èá åßíáé áñãÞ äåäïìÝíïõ üôé
ìüíï ôá ìéêñÜ Üëìáôá èá äïêéìáóôïýí. Åíôïýôïéò, ãéá õðåñâïëéêÜ ìåãÜëç ðñïôåéíüìåíç
äéáóðïñÜ, ïé áëãüñéèìïé ôåßíïõí íá åßíáé õðåñ-öéëüäïîïé, áðïññßðôïíôáò Ýíáí ìåãÜëï ðïóï-
óôü ôùí ðñïôåéíüìåíùí ìåôáâÜóåùí.
ÃåíéêÜ, äåí åßíáé ðïëëÜ ãíùóôÜ ãéá ôï ðñüâëçìá ôçò åðéëïãÞò ðñïôåéíüìåíùí äéáóðïñþí,
áëëÜ óôçí ðåñßðôùóç óõììåôñéêïý ôõ÷áßïõ ðåñßðáôïõ ìåñéêÝò ïäçãßåò ìðïñïýí íá äïèïýí.
¸íáò ëïãéêüò ôñüðïò íá êáèïñßóïõìå ôç äéáóðïñÜ åßíáé íá óõíôïíéóôåß ôï ðïóïóôü áðïäï-
÷Þò: Z Z
a= (x)(x; y)q(x; y)dydx; (5.1)
äçëáäÞ ôï a ðåñéãñÜöåé ôï ðïóïóôü ôùí áðïäåêôþí êéíÞóåùí ãéá ôïí áëãüñéèìï. ÕðÜñ÷ïõí
èåùñçôéêÜ áðïôåëÝóìáôá óôéò ? êáé ?, ôá ïðïßá õðïóôçñßæïõí ôç ÷ñÞóç ôùí ðïóïóôþí
áðïäï÷Þò ìåôáîý ôïõ 0:23 and 0:45, ìå ôá ÷áìçëüôåñá ðïóïóôÜ íá ðñïôéìþíôáé ãéá ôéò
õøçëüôåñåò äéáóôÜóåéò. ÁõôÞ ç èåùñßá åßíáé âáóéóìÝíç êáôÜ Ýíá ìåãÜëï ìÝñïò óôá áóõìðôùôéêÜ
åðé÷åéñÞìáôá ãéá ðñïâëÞìáôá ðïëëþí äéáóôÜóåùí, êáé Ýôóé ç åöáñìïãÞ ôçò äåí ðñÝðåé íá
ãßíåôáé ðÜñá ðïëý áõóôçñÜ. Ìßá ëïãéêÞ åìðåéñéêÞ ìÝèïäïò åßíáé íá óõíôïíéóôåß ôï ðïóïóôü
áðïäï÷Þò ãéá íá åßíáé ìåôáîý 0:20 êáé 0:50.
¼óïí áöïñÜ óå ìßá ïðïéáäÞðïôå åêôéìÞôñéá Monte Carlo, üôáí ìéá áíáìåíüìåíç ôéìÞ
E (f (X)) Ý÷åé åêôéìçèåß áðü ôçí (??) ãéá íá äþóåé ìßá åêôéìÞôñéá Ê (f (X)), åßíáé ÷ñÞóéìï
íá õðïëïãßóåé êáíåßò åðßóçò ôï ôåôñáãùíéêü ôõðïðïéçìÝíï óöÜëìá, Var (Ê (f (X))). Åí-
ôïýôïéò, äåäïìÝíïõ üôé ôï äåßãìá äåí åßíáé áíåîÜñôçôï, áõôü äåí åßíáé Ýíá áðëü æÞôçìá
áêüìá êáé üôáí Ýíá ÊÏÈ ãéá ôçí áëõóßäá Markov êáé ôç óõíÜñôçóç ðïõ ìáò åíäéáöÝñåé
åßíáé ãíùóôü üôé õðÜñ÷åé. Ï ? ðñüôåéíå ôç ÷ñÞóç ïñéóìÝíùí ìåèüäùí ðïõ Ý÷ïõí ôçí
ðñïÝëåõóÞ ôïõò óôç âéâëéïãñáößá ÷ñïíïëïãéêþí óåéñþí ãéá íá õðïëïãßóïõí ôï ôõðïðïéçìÝíï
óöÜëìá ôùí åêôéìçôñéþí. Ç áðëïýóôåñç áõôþí ôùí ìåèüäùí åßíáé ç ìÝèïäïò ôùí ïìáäéêþí
ìÝóùí ðïõ áíáëýåôáé ùò áêïëïýèùò. ÄéáéñÝóôå ôç ÷ñïíéêÞ óåéñÜ ìÞêïõò T óå k ðáñôßäåò
B1 ; B2 ; : : : ; Bk ßóùí ìåãåèþí m êáé õðïëïãßóôå ôéò åêôéìÞóåéò ôùí ïìáäéêþí ìÝóùí áðü
P
B̄j = Ê(j ) (f (X)) = m−1 i∈Bj f (Xi ). ÌåôÜ, ìéá åêôßìçóç ôïõ Var (Ê (f (X))) äßíåôáé
P P
áðü ôï k−1 (k − 1)−1 kj=1 (B̄j − B̄ )2 , ìå B̄ = k−1 kj=1 Bj . ÖõóéêÜ, ïé ïìáäéêïß ìÝóïé
áíôéìåôùðßæïíôáé óáí áíåîÜñôçôïé êáé åðïìÝíùò ôï ìÞêïò m êÜèå ðáñôßäáò ðñÝðåé íá åßíáé
üóï ôï äõíáôüí ìåãáëýôåñï, ëáìâÜíïíôáò õðüøç üôé ïé áëõóßäåò ðïõ áíáìéãíýïíôáé áñãÜ
áðáéôïýí ìåãáëýôåñç ìåãÝèç ðáñôßäáò. ¸íáò ôñüðïò íá åîåôáóôåß ç áíåîáñôçóßá ìåôáîý
ôùí ïìáäéêþí ìÝóùí ôùí ðáñôßäùí åßíáé íá áðáéôÞóïõìå ôç óõó÷Ýôéóç ìåôáîý B̄j êáé B̄j +1 ,
j = 1; 2; : : : ; k − 1, íá åßíáé ìåôáîý ±0:1.
Ìéá åíáëëáêôéêÞ ìÝèïäïò ãéá íá õðïëïãßóïõìå ôï ôõðïðïéçìÝíï ëÜèïò åßíáé íá ÷ñçóéìïðïéç-
èåß ç éäÝá ôïõ áðïôåëåóìáôéêïý ìåãÝèïõò äåßãìáôïò ãéá ôçí åêôßìçóç ôçò áíáìåíüìåíçò
ôéìÞò ôçò óõíÜñôçóçò f (X ) ùò áðü , äåßôå, ðáñáäåßãìáôïò ÷Üñéí ôç óõæÞôçóç óôï ?.
Ïñßæåôáé ùò
T
ESS = (5.2)
f
üðïõ T åßíáé ï áñéèìüò ôùí åðáíáëÞøåùí êáé f åßíáé ï ïëïêëçñùìÝíïò ÷ñüíïò áõôïóõó÷Ý-
ôéóçò ðïõ ïñßæåôáé óôçí (??).
P
Áí êáé ç rk åßíáé ìéá óõíåðÞò åêôéìÞôñéá ôïõ k , 1 + 2 Tk=1
−1
rk ãéá üëá ôá k, åßíáé óßãïõñá
ìç óõíåðÞò ãéá ôçí åêôßìçóç ôïõ f , ïðüôå ðñÝðåé íá ðñïóÝîïõìå ôïí õðïëïãéóìü ôçò
f . Ìéá áðëÞ ðñáêôéêÞ ëýóç (ðïõ ìðïñåß íá åöáñìïóôåß üôáí ç ðñïóïìïéùìÝíç áëõóßäá
Markov åßíáé áíôéóôñÝøéìç) ðñïôÜèçêå óôï ?, êáé ðåñéëáìâÜíåé ôïí õðïëïãéóìü f ìå ôï
P
1+2 C f
k=1 rk üðïõ ôï óçìåßï ðåñéêïðÞò C åßíáé åðéëåãìÝíï íá åßíáé ôï ìåãáëýôåñï k Ýôóé
þóôå ç r2fk+1 + r2fk > 0 éó÷ýåé.
5.4 ×ñÞóåéò ôïõ MCMC óôçí êëáóéêÞ óôáôéóôéêÞ êáé

áëëïý
Ôï MCMC åß÷å óßãïõñá èåìåëéþäç åðßäñáóç óôç óôáôéóôéêÞ ôá ôåëåõôáßá 15 ÷ñüíéá,
åðçñåÜæïíôáò ü÷é ìüíï ôïí ôñüðï ðïõ ç óõìðåñáóìáôïëïãßá ðïóïôéêïðïéåßôáé áëëÜ êáé
ôï åßäïò ôùí ìïíôÝëùí ðïõ ï óôáôéóôéêüò äïêéìÜæåé íá ðñïóáñìüóåé. Áõôü óõìâáßíåé
åðåéäÞ ç ãåíéêüôçôá ôçò ôå÷íéêÞò åðåêôåßíåé áíõðïëüãéóôá ôá óôáôéóôéêÜ ìïíôÝëá ôá ïðïßá
5.4. ×ÑÇÓÅÉÓ ÔÏÕ MCMC ÓÔÇÍ ÊËÁÓÉÊÇ ÓÔÁÔÉÓÔÉÊÇ ÊÁÉ ÁËËÏÕ 29
ìðïñïýìå íá åêôéìÞóïõìå, êõñßùò óôç ÌðåûæéáíÞ óôáôéóôéêÞ. Ðáñüëá áõôÜ ôï MCMC Ý÷åé
åðßóçò ðïëëÝò óçìáíôéêÝò åöáñìïãÝò óôçí êëáóéêÞ óôáôéóôéêÞ. Èá áíáöÝñïõìå óýíôïìá
ôÝóóåñá ðáñáäåßãìáôá.
1. Áñ÷éêÜ óçìåéþóôå üôé áí ìáò äïèåß ìéá åðßðåäç( at) apriori êáôáíïìÞ, ç ðéèáíïöÜíåéá
êáé ç aposteriori ðõêíüôçôåò åßíáé ßóåò. ÅðïìÝíùò åßíáé åöéêôü íá õðïëïãéóôåß ç
ìÝãéóôç ðéèáíoöÜíåéá óáí êïñõöÞ ìéáò åêôéìçèåßóáò aposteriori ðõêíüôçôáò, õðïèÝ-
ôïíôáò öõóéêÜ üôé ç ôåëåõôáßá åßíáé ïëïêëçñþóéìç ùò ðñïò ôéò ðáñáìÝôñïõò, êÜôé
ðïõ óõìâáßíåé åÜí ç ðéèáíïöÜíåéá åßíáé êáëÜ ïñéóìÝíç. ÊáôÜ óõíÝðåéá, ðñÝðåé íá
áðïêôÞóïõìå ìéá åêôéìÞôñéá ôçò ðõêíüôçôáò áðü Ýíá äåßãìá åîáñôþìåíùí óçìåßùí
áðü áõôÞ ôçí ðõêíüôçôá. Áõôü ãßíåôáé óõíÞèùò óôá ðëáßóéá ôçò åêôéìÞôñéáò ôçò
kernel ðõêíüôçôáò. Ðáñáäåßãìáôïò ÷Üñéí, äåäïìÝíïõ åíüò äåßãìáôïò xi ; 1 ≤ i ≤ n
èá ìðïñïýóáìå íá õðïëïãßóïõìå ôçí ðõêíüôçôá ùò
n
1X 1
exp{−(x − xi )2 =(2 2 )}: (5.3)
n i=1
(2 2 )1=2
Ç ìåãéóôïðïßçóç ìéáò ôÝôïéáò åêôéìÞôñéáò ðõêíüôçôáò kernel ðñÝðåé óõíÞèùò íá

åêôåëåóèåß ÷ñçóéìïðïéþíôáò áñéèìçôéêÝò Þ ãñáöéêÝò ìåèüäïõò, áëëÜ ãéá ìïíïäéÜóôáôï
ðñüâëçìá äåí õðÜñ÷ïõí óïâáñÝò õðïëïãéóôéêÝò ðåñéðëïêÝò. Ç ðáñÜìåôñïò 2 ðñÝðåé
íá åðéëå÷ôåß. ÊáôÜ ãåíéêü, üóï ìåãáëýôåñï åßíáé ôï n, ôüóï ìéêñüôåñï ðñÝðåé
íá åðéëÝîïõìå ôï 2 êáé ìéá ðñüôáóç åßíáé íá åöáñìïóôåß ç èåùñßá ôçò âÝëôéóôçò
åðéëïãÞò êëßìáêáò ãéá ôéò åêôéìÞóåéò ðõêíüôçôáò kernel óå åîáñôþìåíá äåäïìÝíá.
Áðïäåéêíýåôáé üôé ãéá ôïõò Metropolis- Hastings áëãïñßèìïõò, âÝëôéóôåò åðéëïãÝò
ôïõ åßíáé ìåãáëýôåñåò áðü åêåßíåò ãéá ôá áíåîÜñôçôá äåäïìÝíá, äåßôå ?, áí êáé ìéá
ëåðôïìåñÞò óõæÞôçóç ãéá ôçí ðåñéï÷Þ åßíáé ðÝñá áðü ôï óêïðü áõôþí ôùí óçìåéþóåùí.
2. Ìéá ìÜëëïí äéáöïñåôéêÞ áí êáé ü÷é áóõíÞèéóôç êáôÜóôáóç åßíáé üôáí ç ðéèáíïöÜíåéá
äåäïìÝíçò ìéáò Üãíùóôçò ðáñáìÝôñïõ åßíáé ãíùóôÞ ìüíï ìÝ÷ñé ìéáò óôáèåñÜò êáíïíé-
êïðïßçóçò. Ç éäÝá ïöåßëåôáé óôïõò ?. ¸óôù
h (x)
L(|x) = (5.4)
c()
üðïõ c() åßíáé Üãíùóôï, áëëÜ ç ôéìÞ ôïõ åßíáé êñßóéìç óôïí êáèïñéóìü ôùí ôéìþí
ôçò ìÝãéóôçò ðéèáíïöÜíåéáò ãéá ôï . Óå áõôÞí ôçí ðåñßðôùóç, åßíáé áðáñáßôçôï
íá åêôéìÞóïõìå ôï c. Ôþñá õðïèÝóôå üôé ôï 0 åßíáé \ç ðñþôç åéêáóßá" ôçò ÅÌÐ.
Ìðïñïýìå íá ãñÜøïõìå
L(|x) h (x) c(0 )
= ; (5.5)
L(0 |x) h0 (x) c()
êáé ìðïñïýìå íá åêôéìÞóïõìå ôï c()=c(0 ) ãéá Ýíá áõèáßñåôï áðü Ýíá äåßãìá
(x1 ; : : : xn ) áðü ôçí h0 ÷ñçóéìïðïéþíôáò ôçí åêôéìÞôñéá
n
1 X h (xi )
; (5.6)
n i=1 h0 (xi )
ç ïðïßá åßíáé ìéá áìåñüëçðôç åêôéìÞôñéá ôïõ c()=c(0 ). Áðü áõôÞí ôçí ðñïóïìïßùóç,
åðïìÝíùò, ìðïñïýìå íá õðïëïãßóïõìå ôï L(|x)=L(0 |x) áðü ôçí (??), êáé íá âåëôéþ-
óïõìå ôçí åêôéìÞôñéá ôçò ÅÌÐ. ÁõôÞ ç äéáäéêáóßá åðáíáëáìâÜíåôáé óõíÞèùò ôüóåò
öïñÝò üóåò ÷ñåéÜæïíôáé ãéá íá óôáèåñïðïéçèïýí ïé åêôéìÞôñéåò.
3. Ï Simulated annealing åßíáé Ýíáò óôï÷áóôéêüò áëãüñéèìïò ãéá ôçí ïëéêÞ ìåãéóôïðïß-
çóç óõíáñôÞóåùí. Óõó÷åôßæåôáé ðÜñá ðïëý ìå ôï MCMC. Ç ìüíç äéáöïñÜ åßíáé
üôé ðõêíüôçôá-óôü÷ïò áëëÜæåé üóï ï áëãüñéèìïò ðñï÷ùñÜåé. Ðñþôá ðáñáôçñÞóôå
üôé áí èÝëïõìå íá ìåãéóôïðïéÞóïõìå ìéá ìç áñíçôéêÞ óõíÜñôçóç h(y); y ∈ A, ç
ìåãéóôïðïéçìÝíç ôéìÞ ìåãéóôïðïéåß åðßóçò ôï h(y)1=T ãéá áõèáßñåôï T > 0 ãíùóôï ùò
èåñìïêñáóßá. Åíôïýôïéò, ãéá ìéêñü T , õðïèÝôïíôáò üôé h1=T åßíáé ìéá ïëïêëçñþóéìç
óõíÜñôçóç, ç ðõêíüôçôá áíÜëïãç ôïõ h(y)1=T ðåñéÝ÷åé ôï ìåãáëýôåñï ìÝñïò ôçò ìÜæáò
ðéèáíüôçôÜò ôïõ êïíôÜ óôéò êïñõöÝò ôçò óõíÜñôçóçò. Ç éäÝá ðßóù áðü ôï simulated
annealing åßíáé, óå êÜèå åðáíÜëçøç n, íá ðñáãìáôïðïéåß ôïí MCMC áëãüñéèìï óå
ðõêíüôçôá áíÜëïãç ðñïò ôï h1=Tn , üðïõ {Tn } åßíáé ìéá áêïëïõèßá èåñìïêñáóéþí
ðïõ óõãêëßíåé óôï ìçäÝí. Ï áëãüñéèìïò óõãêëßíåé óôç ìÝãéóôç ôéìÞ h êÜôù áðü
êáôÜëëçëåò óõíèÞêåò êïíïíéêüôçôáò. Åßíáé óçìáíôéêü ç Tn íá ìçí óõãêëßíåé óôï
ìçäÝí ðÜñá ðïëý ãñÞãïñá, äåäïìÝíïõ üôé áðïäåéêíýåôáé üôé áõôü èá ìðïñïýóå íá
êÜíåé ôïí áëãüñéèìï íá êïëÞóåé óå Ýíá ôïðéêü ìÝãéóôï ôçò óõíÜñôçóçò h.
4. Ôï MCMC ÷ñçóéìïðïéåßôáé åðßóçò ãéá íá ðñïóïìïéþóïõìå áðü ìåñéêÜ óôï÷áóôéêÜ
ìïíôÝëá üðùò áíåëßîåéò óçìåßùí (point processes).
5.5 Ëïãéóìéêü
¸íá äçìïöéëÝò ðñüãñáììá ãéá íá åêôåëåóèåß ôï MCMC óå ðïéêßëá ìïíôÝëá åßíáé ôï BUGS.
¸÷åé áíáðôõ÷èåß óôçí ìïíÜäá âéïóôáôéóôéêÞò MRC óôï ðáíåðéóôÞìéï ôïõ Êáßìðñéôæ êáé
ç ðéï ðñüóöáôç ÝêäïóÞ ôïõ êáëåßôáé WinBUGS. ÄéáãíùóôéêÜ óýãêëéóçò óå s-plus ðïõ
5.5. ËÏÃÉÓÌÉÊÏ 31
ìðïñïýí, Þ äåí ìðïñïýí, íá óõíïäåýóïõí ôï BUGS åßíáé ôá CODA êáé BOA. Ãéá ðåñéóóüôåñåò
ëåðôïìÝñåéåò äåßôå ôéò éóôïóåëßäåò http://www.mrc-bsu.cam.ac.uk/bugs/ êáé
http://www.public-health.uiowa.edu/boa/.
ÊåöÜëáéï 6
Ðñïóäéïñéóìüò ìïíôÝëïõ ìå ôç ÷ñÞóç

MCMC
6.1 ÅéóáãùãÞ
Ìéá ÌðåûæéáíÞ ðñïóÝããéóç óôçí åðéëïãÞ ìïíôÝëùí åßíáé ç áêüëïõèç. ÕðïèÝóôå üôé ôá
äåäïìÝíá y èåùñïýíôáé ãéá íá Ý÷ïõí ðáñá÷èåß áðü êÜðïéï ìïíôÝëï m, Ýíá áðü ôá ìïíôÝëá
ðïõ áíÞêïõí óôï óýíïëï M üëùí ôùí áíôáãùíéóôéêþí ìïíôÝëùí. ÊÜèå ìïíôÝëï ïñßæåé
ôçí êáôáíïìÞ ôïõ Y , L(y|m; θm ) åêôüò áðü ìéá Üãíùóôç ðáñÜìåôñï-äéÜíõóìá θm ∈ Θm ,
üðïõ Θm åßíáé ôï óýíïëï üëùí ôùí ðéèáíþí ôéìþí ãéá ôéò ðáñáìÝôñïõò ôïõ ìïíôÝëïõ m.
Áí p(m) åßíáé ç apriori ðéèáíüôçôá ôïõ ìïíôÝëïõ m, ç aposteriori ðéèáíüôçôá äßíåôáé áðü
ôçí
p(m)L(y|m)
(m|y) = P ; m∈M (6.1)
p(m)L(y|m)
m∈M
üðïõ L(y|m) åßíáé ç ðåñéèþñéá ðéèáíïöÜíåéá õðïëïãéóìÝíç ìå ôç ÷ñÞóç ôïõ θm ,
Z
L(y|m) = L(y|m; θm )p(θm |m)dθm
êáé p(θm |m) åßíáé ç äåóìåõìÝíç apriori êáôáíïìÞ ôùí ðáñáìÝôñùí θm ôïõ ìïíôÝëïõ m.
ÕðÜñ÷ïõí äýï óçìáíôéêÜ ðñïâëÞìáôá óôïí õðïëïãéóìü ôùí aposteriori ðéèáíïôÞôùí ôùí
ìïíôÝëùí. Êáô' áñ÷Üò, ï õðïëïãéóìüò ôçò ðåñéèþñéáò ðéèáíïöÜíåéáò óõíáíôÜ ôéò óõíçèéó-
ìÝíåò äõóêïëßåò ïëïêëÞñùóçò ôçò ÌðåûæéáíÞò óôáôéóôéêÞò. Äåýôåñïí, üôáí åîåôÜæïõìå
ðïëëÜ ìïíôÝëá, ï õðïëïãéóìüò ôçò L(y|m) ãéá üëá ôá m ∈ M ãßíåôáé áðáãïñåõôéêÜ
33
34 ÊÅÖÁËÁÉÏ 6. ÐÑÏÓÄÉÏÑÉÓÌÏÓ ÌÏÍÔÅËÏÕ ÌÅ ÔÇ ×ÑÇÓÇ MCMC
ìåãÜëïò. Ïé MCMC ìÝèïäïé ìðïñïýí íá åßíáé ÷ñÞóéìïé êáé óôéò äýï ðåñéðôþóåéò äåäïìÝíïõ
üôé ü÷é ìüíï ðáñÝ÷ïõí ôéò ìåèïäïëïãßåò ãéá ôïí õðïëïãéóìü ôçò ðåñéèþñéáò ðéèáíïöÜíåéáò
áðü ôï MCMC äåßãìá áëëÜ ìðïñïýí åðßóçò íá ðáñÝ÷ïõí åñãáëåßá ãéá íá êáôáóêåõÜóïõìå
áëãïñßèìïõò áíáæÞôçóçò ìïíôÝëùí ðïõ ðáñÜãïõí ðáñáôçñÞóåéò áðü ôçí áðü êïéíïý aposte-
riori êáôáíïìÞ (m; θm |y) ôïõ (m; θm ). Èá åîåôÜóïõìå áõôÝò ôéò äýï ðåñéðôþóåéò ÷ùñéóôÜ
óôéò åðüìåíåò äýï ðáñáãñÜöïõò.
6.2 Õðïëïãéóìüò ðåñéèùñéáêÞò ðéèáíüôçôáò

Ìáæß ìå ôçí áíÜðôõîç MCMC ìåèüäùí ðïõ åêôéìïýí aposteriori ìÝóåò ôéìÝò, Ý÷åé ãßíåé
ðïëý Ýñåõíá ãéá íá åêìåôáëëåõôïýìå ôï MCMC äåßãìá ãéá íá åêôéìÞóïõìå ôçí L(y|m),
äåßôå ?, ? êáé ?. ÄåäïìÝíïõ üôé áõôÝò ïé ìÝèïäïé áðáéôïýí äåßãìá áðü êÜèå ìïíôÝëï ðïõ
åîåôÜæïõìå, ç åöáñìïãÞ ôïõò åßíáé êÜðùò ðåñéïñéóìÝíç. Åíôïýôïéò, åßíáé ðïëý óçìáíôéêïß
êáé ìÜëëïí åýêïëïé íá åöáñìïóôïýí üôáí ìüíï ëßãá ìïíôÝëá åîåôÜæïíôáé. Èá ðåñéãñÜøïõìå
åäþ äýï ìåèüäïõò ðïõ íïìßæïõìå üôé åßíáé óçìáíôéêÝò: äåéãìáôïëçøßá ãÝöõñáò (bridge
sampling) êáé äåéãìáôïëçøßá ìïíïðáôéïý (path sampling).
6.2.1 Äåéãìáôïëçøßá ãÝöõñáò

¸óôù üôé ðñÝðåé íá õðïëïãßóïõìå ôçí áíáëïãßá äýï ðåñéèþñéùí ðéèáíïöáíåéþí ãéá ìïíôÝëá
m êáé m0 ßóçò äéÜóôáóçò, ðïõ óõìâïëßæïíôáé ùò L(y|m) êáé L(y|m0 ) áíôßóôïé÷á. ÅÜí
m êáé m0 Ý÷ïõí äéáöïñåôéêÝò äéáóôÜóåéò ïé ìÝèïäïé áõôÞò ôçò ðáñáãñÜöïõ ÷ñåéÜæïíôáé
ðñüóèåôç ðñïóï÷Þ, äåßôå ?. Ãéá íá áðëïðïéÞóïõìå ôï óõìâïëéóìü, óõìâïëßæïõìå ìå
cm (θ) êáé cm0 (θ) ôéò áíôßóôïé÷åò ìç-êáíïíéêïðïéçìÝíåò aposteriori ðõêíüôçôåò, Ýôóé þóôå
cm (θ) = L(y|θm ; m)p(θm |m) êáé cm0 (θ) = L(y|θm0 ; m0 )p(θm0 |m0 ). Ï áðëüò åêôéìçôÞò
äåéãìáôïëçøßáò óðïõäáéüôçôáò ãéá ôï ëüãï ðåñéèþñéùí ðéèáíïöáíåéþí õðïëïãßæåôáé åýêïëá
áí ðáñáôçñÞóïõìå üôé ½ ¾
L(y|m) cm (θ)
= Em0 (6.2)
L(y|m0 ) cm0 (θ)
üðïõ Em0 óõìâïëßæåé ôçí áíáìåíüìåíç ôéìÞ ùò ðñïò (θm0 |y ; m0 ) êáé Θm ⊂ Θm0 . Áöïý
áõôÞ ç åêôéìÞôñéá ÷ñçóéìïðïéåß äåßãìáôá áðü ìüíï ìéá aposteriori ðõêíüôçôá, èá ðáñÜãåé
öôù÷Ü áðïôåëÝóìáôá üôáí ïé äýï aposteriori êáôáíïìÝò Ý÷ïõí ëßãç åðéêÜëõøç. Ïé ?
åéóÞãáãáí ôç äåéãìáôïëçøßá ãåöõñþí (bridge sampling) ãåíéêåýïíôáò ôçí ðáñáðÜíù åîßóùóç
Ýôóé þóôå ç óõíèÞêç Θm ⊂ Θm0 íá ìçí åßíáé ðëÝïí áðáñáßôçôç êáé íá ÷ñçóéìïðïéïýíôáé
6.2. ÕÐÏËÏÃÉÓÌÏÓ ÐÅÑÉÈÙÑÉÁÊÇÓ ÐÉÈÁÍÏÔÇÔÁÓ 35
äåßãìáôá êáé áðü ôéò äýï aposteriori êáôáíïìÝò :

L(y|m) Em0 {cm (θ)g(θ)}
= (6.3)
L(y|m0 ) Em {cm0 (θ)g(θ)}
T
üðïõ g(θ) åßíáé ç èåôéêÞ óõíÜñôçóç ðïõ ïñßæåôáé óôï Θm Θm0 Ýôóé þóôå
¯Z ¯
¯ ¯
¯ ¯
0<¯ c (θ)c (θ)g (θ)dθ ¯ < ∞: (6.4)
¯ Θm T Θm0 m m0
¯
Óçìåéþóôå üôé ç (??) ìðïñåß íá ÷ñçóéìïðïéçèåß ãéá åêôßìçóç ìüíï ôçò L(y|m) åÜí ìéá
ãíùóôÞ ðõêíüôçôá ÷ñçóéìïðïéåßôáé áíôß ôçò (m0 |y ; m0 ) Ýôóé þóôå (m0 |y ; m0 ) = cm0 (θ)
êáé L(y|m0 ) = 1.
ÄéáöïñåôéêÝò åðéëïãÝò ôçò g(θ) ðáñÜãïõí äéáöïñåôéêÝò åêôéìÞôñéåò. Ðáñáäåßãìáôïò ÷Üñéí,
õðïèÝôïíôáò üôé Θm ⊂ Θm0 , g(θ) = c−1 m0 (θ) óõíåðÜãåôáé (??). Áí Θm = Θm0 , g (θ) =
m (θ)cm0 (θ) ðáñÜãåé ìéá ãåíßêåõóç ôïõ áñìïíéêïý êáíüíá ôùí ?:
c−1 −1
© ª
L(y|m) Em0 c−1
m0 (θ)
= : (6.5)
L(y|m ) Em {cm (θ)}
0 −1
Ìéá Üëëç åíäéáöÝñïõóá åðéëïãÞ ôçò g(θ) ðáñÜãåé ìéá ãåíßêåõóç ôçò ìåèïäïëïãßáò ðåñéèþñéáò
ðéèáíïöÜíåéáò ðïõ åéóÞ÷èç áðü ôïí ?, ç ïðïßá óôçñßæåôáé óõãêåêñéìÝíá óôï äåßãìá Metropolis-
Hastings, äåßôå ?.
Ïé ? ìåëÝôçóáí ôç äåéãìáôïëçøßáò ãÝöõñáò ëåðôïìåñþò êáé óçìåßùóáí üôé ç éäÝá ðßóù
áðü áõôÞ åßíáé üôé ôá äåßãìáôá ëáìâÜíïíôáé êáé áðü ôéò äýï aposteriori ðõêíüôçôåò åíþ
ìéá Üëëç ðõêíüôçôá ÷ñçóéìåýåôáé ùò ãÝöõñá ãéá íá óõíäÝóåé ôá äýï äåßãìáôá. Ãéá íá
äåßôå áõôü ðéü êáèáñÜ, õðïèÝóôå üôé ìéá «ãÝöõñá»-ðõêíüôçôá b (θ) âñßóêåôáé \ìåôáîý"
ôùí cm (θ) êáé cm0 (θ). Ôüôå ç g(θ) ìðïñåß íá ãñáöôåß ùò
g (θ) = b (θ)=[cm (θ)cm0 (θ)] (6.6)
Ýôóé þóôå
L(y|m) Em0 {b (θ)=cm0 (θ)}
= : (6.7)
L(y|m0 ) Em {b (θ)=cm (θ)}
Ôï ìÞíõìá áðü ôçí ôåëåõôáßá åîßóùóç åßíáé üôé ï ëüãïò ôùí äýï ðåñéèþñéùí ðéèáíïöáíåéþí
åêôéìÜôáé ìå ôç ÷ñçóéìïðïßçóç ôùí äåéãìÜôùí êáé áðü ôéò äýï aposteriori ðõêíüôçôåò áðü
ôá äýï ìïíôÝëá ìå ôçí ðõêíüôçôá b (θ) íá ÷ñçóéìåýåé ùò ìéá \ãÝöõñá" ìåôáîý ôïõò.
ÄåäïìÝíïõ üôé ç éäÝá åßíáé âáóéóìÝíç óôï ãåãïíüò üôé áõôÞ ç ãÝöõñá Ý÷åé ðåäßï ïñéóìïý
T T
ôï Θm Θm0 , óçìåéþóôå üôé áõôÞ ç ìÝèïäïò äåí èá ëåéôïõñãïýóå åÜí Θm Θm0 = ∅ êáé
èá õðïëåéôïõñãïýóå åÜí áõôÞ ç ôïìÞ åßíáé \ìéêñÞ".
6.2.2 Äåéãìáôïëçøßá ìïíïðáôéïý

Ç öõóéêÞ åðÝêôáóç ôçò äåéãìáôïëçøßáò ãÝöõñáò åßíáé íá ÷ñçóéìïðïéçèåß ìéá óåéñÜ ãåöõñþí
ðïõ óõíäÝïõí ôéò äýï ðõêíüôçôåò: áõôü åðéôõã÷Üíåôáé ìÝóù ôçò äåéãìáôïëçøßáò ìïíïðáôéïý
(path sampling) (?). Ç ìÝèïäïò èá ìðïñïýóå íá ÷ñçóéìïðïéçèåß ãéá íá óõãêñßíåé ôá ìïíôÝëá
÷ùñßò ïðïéïäÞðïôå ðåñéïñéóìü åðÜíù óôá Θm êáé Θm0 .
Èåùñåßóôå ôçí ïéêïãÝíåéá ôùí aposteriori êáôáíïìÞ ðõêíïôÞôùí ìå äåßêôñéá ðáñÜìåôñï
z ∈ [0; 1]:
(θ; y | z )
(θ | y ; z ) = (6.8)
L(y | z )
êáé õðïèÝóôå üôé z = 1 áíôéóôïé÷åß óôç L(y | m) åíþ ç L(y | m0 ) ïñßæåôáé áðü z = 0. Ïé
Üëëåò z ôéìÝò ìðïñïýí íá áíôéóôïé÷ïýí óå Ýíá ãíÞóéï óõíå÷Ýò (continuum) ôùí åíäéÜìåóùí
ìïíôÝëùí Þ ìðïñïýí íá åßíáé ôåëåßùò ôå÷íçôÝò ÷ùñßò êáèüëïõ óôáôéóôéêÞ Ýííïéá.
Ðñþôá óçìåéþóôå üôé õðïèÝôïíôáò ôçí áëëáãÞ ôçò óåéñÜò ðáñáãþãéóçò êáé ïëïêëÞñùóçò,
äåäïìÝíïõ üôé ç L(y | z ) åßíáé ç ðåñéèùñéá ðõêíüôçôá ôçò (θ; y | z ), Ý÷ïõìå
Z · ¸
d d d
log L(y | z ) = L (y | z ) (θ; y | z )dθ = Eθ|y ;z
−1
log (θ ; y | z ) : (6.9)
dz dz dz
Áí óõìðåñéöåñüìáóôå óôï z óáí ðáñÜìåôñï ìå ðõêíüôçôá p(z ) áíåîÜñôçôç ôïõ θ, ôüôå
d d
dz log (θ ; y | z ) = dz log L(y | θ ; z ) êáé
µ ¶ Z · ¸
L(y | z = 1) 1
d
log = Eθ|y;z log L(y | θ ; z ) dz
L(y | z = 0) 0 dz
" #
d
= Eθ ;z|y dz log L(y | θ ; z ) :
p(z )
Ç ôåëåõôáßá ðïóüôçôá ìðïñåß íá åêôéìçèåß ìå Ýíá ôõ÷áßï äåßãìá áðü (θ; z | y) ìåãÝèïõò
n ìå µ ¶ n d
L(y | z = 1) dz log L(y | θ i ; zi ) :
X
log 'n −1
(6.10)
L(y | z = 0) i=1
p(zi )
Ïé Gelman êáé Meng ðñïôåßíïõí ôïí õðïëïãéóìü ôïõ ïëïêëçñþìáôïò ùò ðñïò z ìå Ýíá
ôñáðåæïåéäÞ êáíüíá âáóéóìÝíï óå ßóùí áðïóôÜóåùí óýíïëï óçìåßùí z0 = 0; z1 ; z2 ; : : : ; zk =
6.3. MCMC ÌÅÈÏÄÏÉ ÅÎÅÑÅÕÍÇÓÇÓ-ÅÐÉËÏÃÇÓ ÌÏÍÔÅËÏÕ 37
1 óôï [0; 1]. Ç ðñïêýðôïõóá åêôéìÞôñéá ãéá äåßãìáôá θ1;zi ; θ2;zi ; : : : ; θn;zi áðü ôçí (θ |
y ; zi ) for i = 1; : : : ; k åßíáé
 " #
µ ¶ k−1 n d log (y | θ ; z )
L(y | z = 1) 1 X 1 X
 dz t
log = (zi+1 − zi ) 
L(y | z = 0) 2 i=0 n t=1 p(z ) zi+1
" # !#
d
+ dz log (y | θ t ; z ) :
p(z ) zi
6.3 MCMC ìÝèïäïé åîåñåýíçóçò-åðéëïãÞò ìïíôÝëïõ

6.3.1 Äåãìáôïëçøßá áíåîáñôçóßáò
Ç áðëïýóôåñç MCMC ðñïóÝããéóç ãéá ôçí ðñïóïìïßùóç áðü ôçí aposteriori êáôáíïìÞ
(m; θm |y) åßíáé ìéá ôõðéêÞ ðñïóÝããéóç Metropolis-Hastings. ËáìâÜíïíôáò õðüøç ôçí
ôñÝ÷ïõóá ôéìÞ ôïõ (m; θm ), ìéá ðñüôáóç (m0 ; θ0m0 ) ðáñÜãåôáé áðü êÜðïéåò ðñïôåéíüìåíåò
êáôáíïìÝò óôï äéÜóôçìá ðáñáìÝôñùí ãéá ôá (m; Θ) êáé ç ðñüôáóç ãßíåôáé áðïäåêôÞ ùò
åðüìåíç ðáñáôÞñçóç ôçò áëõóßäáò ìå ôç óõíçèéóìÝíç ðéèáíüôçôá áðïäï÷Þò Metropolis-
Hastings ðïõ äßíåôáé óôïí áëãüñéèìï ??. ÁõôÞ ç ðñïóÝããéóç åîåôÜæåôáé óôï ? ãéá ôá
ìïíôÝëá ìßîçò. Ùò óõíÞèùò, ç äåéãìáôïëçøßá áíåîáñôçóßáò ëåéôïõñãåß êáëýôåñá åÜí ç
ðñïôåéíüìåíç q åßíáé ìéá ëïãéêÞ ðñïóÝããéóç óôçí êáôáíïìÞ-óôü÷ï f , êáé Ýôóé áõôü ðïõ
áðáéôåßôáé åäþ åßíáé íá ðñïóåããßóïõìå ôéò (m) êáé (θm |m) ãéá êÜèå m. Áõôü åßíáé
ðñïöáíþò ðïëý äýóêïëï íá åðéôåõ÷èåß.
6.3.2 Reversible jump

Áíôß íá ÷ñçóéìïðïéÞóïõìå äåéãìáôïëçøßá áíåîáñôçóßáò ãéá íá ðÜñïõìå äåßãìáôá áðü ôçí
ðõêíüôçôá (m; θm |y), ìéá ëïãéêÞ óôñáôçãéêÞ èá Þôáí öõóéêÜ íá åðéôñáðåß óôçí ðñïôåé-
íüìåíç (m0 ; θ0m0 ) íá åîáñôÜôáé áðü ôéò ôñÝ÷ïõóåò ôéìÝò (m; θm ). Ï áëãüñéèìïò Metropolis-
Hastings (??) äåí ìðïñåß íá åöáñìïóôåß óå äåéãìáôéêü ÷þñï ìåôáâëçôÞò äéÜóôáóçò. Åíôïýôïéò,
ï ? áíÝðôõîå ôï reversible jump MCMC ãéá áêñéâþò áõôÞí ôçí êáôÜóôáóç. Ìéá ùñáßá
åéóáãùãÞ êáé áíáèåþñçóç åìöáíßæïíôáé óôï ?, åíþ óõíäÝóåéò ìå Üëëåò õðÜñ÷ïõóåò ìåèüäïõò
ãéá ôïí êáèïñéóìü ìïíôÝëùí êáé ç åðéëïãÞ ìåôáâëçôþí ìÝóù MCMC ðåñéãñÜöïíôáé áðü
ôïõò ?. Ôï reversible jump ãéá ôçí ðñïóïìïßùóç áðü ôçí (m; θm |y) åßíáé âáóéóìÝío
óôç äçìéïõñãßá ìéáò áëõóßäáò Markov ðïõ ìðïñåß \íá ðçäÞóåé" ìåôáîý ôùí ìïíôÝëùí
äéáöïñåôéêþí äéáóôÜóåùí ðáñáìÝôñùí ìe Ýíáí ãåíéêü ôñüðï, äéáôçñþíôáò ôç ëåðôïìåñÞ
éóïññïðßá (detailed balance) ðïõ åîáóöáëßæåé ôç óùóôÞ óôÜóéìç êáôáíïìÞ åÜí ç áëõóßäá
åßíáé Ýììïíç êáé áðåñéïäéêÞ. Åßíáé ìéá ãåíßêåõóç óôçí ÌðåûóéáíÞ óôáôéóôéêÞ êïéíüôçôá
ôùí éäåþí ðïõ ðñþôá åìöáíß-óôçêáí óôç ÷ùñéêÞ óôáôéóôéêÞ ãéá ôéò óçìåéáêÝò áíåëßîåéò
Markov, äåßôå ?, êáé óôçí áíÜëõóç åéêüíáò, äåßôå ?. Ï áëãüñéèìïò åðéôñÝðåé ôïí õðïëïãéóìü
aposteriori ðéèáíïôÞôùí ìïíôÝëùí ìå ðáñáìÝôñïõò ïðïéáóäÞðïôå äéÜóôáóçò. Ôï óçìáíôéêü
ìåéïíÝêôçìÜ ôïõ åßíáé üôé ç áðïôåëåóìáôéêüôçôá ôïõ áëãïñßèìïõ áðáéôåß ðñïóåêôéêÞ åðéëïãÞ
ôùí ðñïôåéíüìåíùí ðõêíïôÞôùí, äåßôå åí ôïýôïéò ôï ? ãéá ôéò ãåíéêÝò ëýóåéò óå áõôü ôï
ðñüâëçìá. Ï áëãüñéèìïò ðåñéãñÜöåôáé ùò åîÞò.
ÕðïèÝóôå üôé ç ôñÝ÷ïõóá êáôÜóôáóç ôçò áëõóßäáò Markov åßíáé (m; θm ), üðïõ ôï θm Ý÷åé
äéÜóôáóç d(θm ). Ìéá åêäï÷Þ ôçò äéáäéêáóßáò åßíáé ç áêüëïõèç:
Áëãüñéèìïò 3
• Ðñüôåéíå íÝï ìïíôÝëï m0 ìå ðéèáíüôçôá j (m; m0 ).

• ÃÝííçóå u (ðïõ ìðïñåß íá åßíáé ìéêñüôåñçò äéÜóôáóçò áðü θ m0 )
áðü ðñïôåéíüìåíç ðõêíüôçôá q (u|θ m ; m; m0 ).
• ÈÝóå (θ 0m0 ; u0 ) = gm;m0 (θ m ; u) üðïõ gm;m0 åßíáé ìéá ðñïêáèïñéóìÝíç áíôéóôñÝøéìç

óõíÜñôçóç. Óõíåðþò d(θ m ) + d(u) = d(θ m0 ) + d(u0 ). Óçìåéþóôå üôé gm0 ;m =
gm;m
−1
0.
• Äå÷ôåßôå ôçí ðñïôåéíüìåíç êßíçóç m0 ìå ðéèáíüôçôá
µ ¶
L(y|m0 ; θ0m0 )p(θ0m0 |m0 )p(m0 )j (m0 ; m); q (u0 |θm ; m0 ; m)
= min 1; |J |
L(y|m; θm )p(θm |m)p(m)j (m; m0 )q(u|θm0 ; m; m0 )
üðïõ
@gm;m0 (θm ; u)
J= :
@ (θm ; u)
ÕðÜñ÷ïõí ðïëëÝò ðáñáëëáãÝò Þ áðëïýóôåñåò åêäüóåéò ôïõ reversible jump ðïõ ìðïñïýí íá
åöáñìïóôïýí óå åéäéêÜ ðñïâëÞìáôá ðñïóäéïñéóìïý ìïíôÝëùí. Ðáñáäåßãìáôïò ÷Üñéí, åÜí
üëåò ïé ðáñÜìåôñïé ôïõ ðñïôåéíüìåíïõ ìïíôÝëïõ ðáñÜãïíôáé Üìåóá áðü ôï ðñïôåéíüìåíç
êáôáíïìÞ, ôüôå (θ0m0 ; u0 ) = (u; θm ) ìå d(θm ) = d(u0 ) êáé d(θm0 ) = d(u), êáé ç ÉáêùâéáíÞ
6.3. MCMC ÌÅÈÏÄÏÉ ÅÎÅÑÅÕÍÇÓÇÓ-ÅÐÉËÏÃÇÓ ÌÏÍÔÅËÏÕ 39
óôçí (??) åßíáé Ýíá. Óå áõôÞí ôçí ðåñßðôùóç, Ý÷ïõìå äåéãìáôïëçøßá áíåîáñôçóßáò. ÅðïìÝ-
íùò ç äåéãìáôïëçøßá áíåîáñôçóßáò åßíáé ìéá åéäéêÞ ðåñßðôùóç ôïõ reversible jump. Ìå ôéò
ßäéåò ðñïôåéíüìåíåò êáôáíïìÝò, áëëÜ üôáí ç óõíÜñôçóç (θ0m0 ; u0 ) = gm;m0 (u; θm ) äåí åßíáé
ôáõôïôéêÞ, Ý÷ïõìå Ýíáí ãåíéêüôåñï Metropolis-Hastings áëãüñéèìï üðïõ θ0m0 åðéôñÝðåôáé
íá åîáñôÜôáé áðü ôï θm . ÅÜí m0 = m, ôüôå ç êßíçóç åßíáé Ýíá ôõðéêü âÞìá Metropolis-
Hastings.
Åíôïýôïéò, ç ðñáãìáôéêÞ åõåëéîßá ôïõ reversible jump åßíáé üôé ìáò åðéôñÝðåé íá ÷ñçóéìï-
ðïéïýìå ðñïôåéíüìåíåò êáôáíïìÝò ÷áìçëüôåñçò äéÜóôáóçò áðü d(θ0m0 ). Ðáñáäåßãìáôïò
÷Üñéí, åÜí ôï ìïíôÝëï m åßíáé öùëéáóìÝíï (nested) óto m0 , ôüôå ìðïñåß íá õðÜñîåé
åîáéñåôéêÜ öõóéêÞ ðñïôåéíüìåíç êáôáíïìÞ êáé óõíÜñôçóç ìåôáó÷çìáôéóìïý gm;m0 (ðïõ
ìðïñåß íá åßíáé ç óõíÜñôçóç ôáõôüôçôáò) ôÝôïéá þóôå d(u0 ) = 0 êáé θ0m0 = gm;m0 (θm ; u).
ÅðïìÝíùò, üôáí ðñïôåßíåôáé ç áíôßóôñïöç êßíçóç, ïé ðáñÜìåôñïé ôïõ ìïíôÝëïõ ðñïôåßíïíôáé
íôåôåñìéíéóôéêÜ. ÁõôÞ ç ðñïóÝããéóç åßíáé ðïõ õéïèåôåßôáé, ðáñáäåßãìáôïò ÷Üñéí, óôï ?. Ðéü
åíäéáöÝñïõóá áðü ôçí ðáñáðÜíù ðåñßðôùóç, êáé åñåõíçôéêÞ ðñüêëçóç ôïõ reversible jump,
åßíáé ç êáôáóêåõÞ êéíÞóåùí ìÝóù ôùí êáôÜëëçëùí åðéëïãþí ôïõ gm;m0 . ÌåñéêÝò åöáñìïãÝò
åßíáé ? ãéá ôéò äéáêñéôÝò ìßîåéò, ? ãéá ôá êñõììÝíÜ ìïíôÝëá Markov êáé ? ãéá ãåíéêåõìÝíá
ãñáììéêÜ ìïíôÝëá.
Ìéá Üëëç åíäéáöÝñïõóá êáôÜóôáóç ðñïêýðôåé üôáí, ãéá êÜèå m, ç aposteriori êáôáíïìÞ
ðõêíüôçôá (θm |m; y) åßíáé äéáèÝóéìç êáé ìðïñåß íá ïëïêëçñùèåß ãéá íá äþóåé ôçí ðåñéèþñéá
ðéèáíïöÜíåéá, (y|m). ÅÜí áõôÞ ç êáôáíïìÞ ÷ñçóéìïðïéåßôáé ùò ðñüôáóç óôïí áëãüñéèìï
reversible jump ôüôå ç ðéèáíüôçôá áðïäï÷Þò äßíåôáé áðü
µ ¶
L(y|m0 ; θ0m0 )p(θ0m0 |m0 )p(m0 )j (m0 ; m)(θm |m ; y)
= min 1;
L(y|m; θm )p(θm |m)p(m)j (m; m0 )(θ0m 0 |m 0 ; y)
µ ¶
p(m0 )j (m0 ; m)
= min 1; Bm0 m
p(m)j (m; m0 )
üðïõ Bm0 m åßíáé ï ðáñÜãïíôáò Bayes (Bayes factor) ôïõ ìïíôÝëïõ m0 Ýíáíôé ôïõ ìïíôÝëïõ
m. Óôçí ðñÜîç, äåí ìðïñïýìå óõíÞèùò íá õðïëïãßóïõìå ôï Bm0 m . Óôçí åéäéêÞ ðåñßðôùóç
üðïõ ôá ìïíôÝëá åßíáé ôá áðïóõíèÝóéìá (decomposable) ãñáöéêÜ ìïíôÝëá, ïé ? ÷ñçóéìïðïßçóáí
áêñéâþò áõôÞ ôçí ðñïóÝããéóç, ôçí ïðïßá ïíüìáóáí MC 3 . ÅðéðëÝïí, åÜí ç ðåñéèþñéá
ðéèáíïöÜíåéá ìðïñåß ìå êÜðïéï ôñüðï íá ðñïóåããéóôåß åýêïëá, ðáñáäåßãìáôïò ÷Üñéí áðü
ôéò ðñïóåããßóåéò Laplace üðùò ðåñéãñÜöåôáé óôïõò ?, áõôüò ï áëãüñéèìïò ðáñÝ÷åé ìßá ðïëý
ãñÞãïñç áíáæÞôçóç óôï ÷þñï ôùí ìïíôÝëùí. Óçìåéþóôå üôé äåí õðÜñ÷åé êáìßá áíÜãêç
íá ðáñáîïõìå ôéò ðáñáìÝôñïõò θm ùò ôìÞìá ôçò áëõóßäáò Markov. Áõôïß ìðïñïýí íá
ðáñá÷èïýí ÷ùñéóôÜ áðü ôéò ãíùóôÝò aposteriori êáôáíïìÝò (θm |m; y) áí åßíáé áðáñáßôçôï.
ÕðÜñ÷ïõí äéÜöïñåò ó÷åôéêÝò ðñïóåããßóåéò ãéá ôïõò MCMC áëãüñéèìïõò ìå ÷þñïõò êáôá-
óôÜóåùí äéáöïñåôéêþí äéáóôÜóåùí. Ìéá ðïëý êïìøÞ êáé åõÝëéêôç äéáôýðùóç ãñÜöåé
üëåò ôéò ðõêíüôçôåò ùò ðñïò Ýíá óýíèåôï ìÝôñï äéáäéêáóßáò Poisson, äåßôå ðáñáäåßãìáôïò
÷Üñéí ?, ?. Óå áõôü ôï ðëáßóéï, ïé öõóéêÝò ðñïôåéíüìåíåò êáôáíïìÝò ðáñïõóéÜæïíôáé
óáí ôùí äåéãìáôïëÞðôåò ãÝííçóçò êáé èáíÜôïõ ìåôáôïðßóåùí. Áõôïß ïé áëãüñéèìïé åßíáé
éäéáßôåñá öõóéêïß êáé ÷ñÞóéìïé óôá ðëáßóéá ôùí ìïíôÝëùí ÷ùñéêþí óçìåéáêþí áíåëßîåùí
ðïõ åßíáé óõ÷íÜ åýêïëï íá ÷áñáêôçñéóôïýí áðü ôçí Üðïøç ôçò ðõêíüôçôÜò ôïõò ùò ðñïò
Ýíá êáôÜëëçëï ìÝôñï áíÝëéîçò Poisson.
ÊåöÜëáéï 7
¸íá åðåîçãçìáôéêü ðáñÜäåéãìá
Óå áõôÞ ôç ðáñÜãñáöï èá áíáëýóïõìå Ýíá áðëü ðñüâëçìá ÷ùñéêÞò ÓôáôéóôéêÞò ãéá íá

åîçãÞóïõìå ôéò äéÜöïñåò ôå÷íéêÝò MCMC. Èåùñåßóôå Ýíá 5 × 5 ðëÝãìá ìå äåäïìÝíá y =
(y11 ; y12 ; : : : ; y5;5 )T êáé õðïèÝóôå üôé y ∼ MV N (0; V ) üðïõ MV N óçìáßíåé ðïëõìåôáâëçôÞ
êáíïíéêÞ êáôáíïìÞ, 0 åßíáé 25 × 1 äéÜíõóìá ìçäåíéêþí, > 0 åßíáé Üãíùóôç óôáèåñÜ êáé
V åßíáé ï ðßíáêáò óõó÷åôßóåùí. Ï V åîáñôÜôáé áðü ôçí ðáñÜìåôñï ≥ 0 Ýôóé þóôå ç
óõó÷Ýôéóç ìåôáîý äýï óçìåßùí ðëÝãìáôïò (i1 ; i2 ) êáé (j1 ; j2 ) íá åßíáé exp (−−1 ki − jk)
ìå k · k íá äçëþíåé ôçí Åõêëåßäéá áðüóôáóç óôï ÷ùñéêü ðëÝãìá. Ôá äåäïìÝíá y ðïõ
óõìðëçñþíïõí ôï ðëÝãìá ðñïóïìïéþèçêáí èÝôïíôáò = 5 êáé = 1.
Ãéá ôçí ÌðåûæéáíÞ áíÜëõóÞ ìáò, õðïèÝôïõìå ôéò áêüëïõèåò áíåîÜñôçôåò apriori êáôáíïìÝs:
∼ Ga (10−3 ; 10−3 ) êáé ∼ IG (10−3 ; 10−3 ), üðïõ Ga and IG åßíáé ç ÃÜììá êáé ç
áíôßóôñïöç ÃÜììá êáôáíïìÞ áíôßóôïé÷á ìå ìÝóï êáé äéáêýìáíóç 103 .
Ç aposteriori êáôáíïìÞ ðõêíüôçôá ôùí (; ) äßíåôáé áðü
½ ¾
−1=2 1 −1 T −1
(; | y) ∝ |V |
− 25
2 exp − y V y ×
2
−0:999
© ª
exp {−0:001} −1:001 exp −0:001 −1 :
Ç ðáñÜìåôñïò éêáíïðïéåß ôçí éäéüôçôá ôçò äåóìåõìÝíçò óõæõãßáò óå áõôÞí ôçí ðåñßðôùóç,
êáé ç äåóìåõìÝíç êáôáíïìÞ ôçò äåäïìÝíïõ ôïõ ìðïñåß íá ãñáöôåß óáí
µ ¶
25 1
( |; y) ∝ IG + 10−3 ; y T V −1 y + 10−3 : (7.1)
2 2
ÅðïìÝíùò ç äåéãìáôïëçøßá áðü áõôÞí ôçí äåóìåõìÝíç êáôáíïìÞ åßíáé áðëÞ. Ç äåóìåõìÝíç
41
42 ÊÅÖÁËÁÉÏ 7. ¸ÍÁ ÅÐÅÎÇÃÇÌÁÔÉÊÏ ÐÁÑÁÄÅÉÃÌÁ
ðõêíüôçôá ôïõ äïèÝíôïò ôïõ äßíåôáé áðü

½ ¾
−1=2 1 −1 T −1
( | ; y) ∝ |V | exp − y V y −0:999 exp {−0:001} (7.2)
2
ç ïðïßá äåí Ý÷åé ìéá ãíùóôÞ ìïñöÞ, êáé Ýôóé ç äåéãìáôïëçøßá áðü áõôÞ åßíáé ðéï ðñïâëçìáôéêÞ.
7.1 Metropolis-within Gibbs

Ï áëãüñéèìïò ðïõ ðñïôåßíåôáé óáí ðñþôç åðéëïãÞ åßíáé ï Metropolis-within-Gibbs áëãü-
ñéèìïò ðïõ ðáßñíåé äåßãìáôá áðü ôçí ðëÞñùò äåóìåõìÝíç ðõêíüôçôÜ ôïõ ðïõ äßíåôáé
áðü ôçí (??) åíþ âÞìá Metropolis ÷ñçóéìïðïéåßôáé ãéá íá åíçìåñþóåé ôçí ðáñÜìåôñï
ìå ôõ÷áßï ðåñßðáôï Metropolis ðïõ Ý÷åé óôÜóéìç ðõêíüôçôá ðïõ äßíåôáé áðü ôçí (??).
×ñçóéìïðïéÞóáìå êáíïíéêÞ ðñïôåéíüìåíç ðõêíüôçôá, ìå êáôÜëëçëç äéáóðïñÜ Ýôóé þóôå ôï
ðñïêýðôïí ðïóïóôü áðïäï÷Þò íá åßíáé ðåñßðïõ 0:4 üðùò óõæçôåßôáé ðéï ðÜíù.
Ï ðñïêýðôùí áëãüñéèìïò Metropolis-within-Gibbs ðáñÜãåé ìÜëëïí áðïãïçôåõôéêÜ áðïôåëÝ-
óìáôá ìå éäéáßôåñá óåéñéáêÜ óõó÷åôéóìÝíá äåßãìáôá üðùò öáßíåôáé óôï ãñÜöçìá áõôïóõ-
ó÷Ýôéóçò ôïõ ó÷Þìáôïò ??. Ç áõôïóõó÷Ýôéóç ìåéþíåôáé ðïëý áñãÜ Ýôóé ç ìßîç áõôïý ôïõ
alpha
1.2
1
Autocorrelation
0.8
0.6
0.4
0.2
−0.2
0 200 400 600 800 1000 1200
beta
1.2
1
Autocorrelation
0.8
0.6
0.4
0.2
−0.2
0 200 400 600 800 1000 1200
lags
Ó÷Þìá 7.1: ÓõíáñôÞóåéò áõôïóõó÷Ýôéóçò ôùí êáé . Ôï MCMC áðïôÝëåóìá ðáñÜ÷èçêå

áðü äéáäï÷éêÞ äåéãìáôïëçøßá áðü ôá ( | ; y) êáé ( | ; y).
áëãüñéèìïõ åßíáé öôù÷Þ, êáé ç åêôßìçóç âáóéóìÝíç óôï äåßãìá áðü ôçí áëõóßäá Markov
7.2. COLLAPSED ÁËÃÏÑÉÈÌÏÓ 43
èá Þôáí áíáðïôåëåóìáôéêÞ óôçí êáëýôåñç ðåñßðôùóç, ãéá íá ìçí áíáöÝñïõìå üôé èá Þôáí
åíäå÷ïìÝíùò áíáîéüðéóôç.
Ìéá ìáôéÜ óôï ó÷Þìá ?? äåß÷íåé ãéáôß ç óýãêëéóç ôïõ áëãïñßèìïõ åßíáé ôüóï öôù÷Þ.
Ïé ðáñÜìåôñïé óõó÷åôßæïíôáé ðïëý, Ýôóé þóôå ìéá äåéãìáôïëçøßá Gibbs âáóéóìÝíç óôç
óôñáôçãéêÞ ðïõ ÷ñçóéìïðïéåß áõôÞ ôçí ðáñáìåôñïðïßçóçóç èá áíáìéãíýåôáé åîáéñåôéêÜ
áñãÜ. Ðáñáìåôñïðïßçóç ôùí êáé ðñïêåéìÝíïõ íá ìåéùèïýí ïé aposteriori åîáñôÞóåéò
åßíáé ìéá ðéèáíÞ ëýóç. Åíôïýôïéò óå áõôü ôï ðëáßóéï, äåí õðÜñ÷åé êáìßá öõóéêÞ êáôçãïñßá
ðáñáìåôñïðïéÞóåùí áðü ôéò ïðïßåò íá ìðïñïýìå íá åðéëÝîïõìå, áíáãêÜæïíôÜò ìáò íá
ðñïôåßíïõìå åíáëëáêôéêÝò ëýóåéò.
300
250
200
alpha
150
100
50
0
0 20 40 60 80 100
beta
Ó÷Þìá 7.2: ÄéÜãñáììá óçìåßùí ôïõ and áðü ôï Metropolis-within-Gibbs áðïôÝëåóìá
7.2 Collapsed áëãüñéèìïò

Óå áõôü ôï ðëáßóéï, ìéá ðåñéóóüôåñï õðïó÷üìåíç ëýóç åßíáé íá ïëïêëçñþóïõìå ôï
áöÞíïíôáò ôçí ðåñéèþñéá aposteriori êáôáíïìÞ êáôáíïìÞ . Ôüôå ìðïñïýìå íá êáôá-
óêåõÜóïõìå ìéá áëõóßäá Markov óå áõôü ôï ìïíïäéÜóôáôï ðñüâëçìá. ¼ðùò åðéóçìÜíáìå
óôçí ðáñÜãñáöï ??, ï ðñïêýðôùí áëãüñéèìïò èá áíáìåíüôáí íá óõãêëßíåé ãñçãïñüôåñá áðü
ôïí 2-äéÜóôáôï äåéãìáôïëÞðôç ðïõ ðåñéãñÜöåôáé ðáñáðÜíù. ËáìâÜíïíôáò õðüøç Ýíá äåßãìá
ôùí ôéìþí áðü ôçí ðåñéèþñéá êáôáíïìÞ ôùí , 1 ; : : : ; T , ìðïñïýìå íá ðñïóïìïéþóïõìå
Ýíá áíôßóôïé÷ï äåßãìá áðü ôéìÝò, 1 : : : ; T áíôßóôïé÷á, ìå i íá ðñïóïìïéþíåôáé áðü
ôçí ( |i ; y). Ãéá ôçí áîéïëüãçóç ôçò óýãêëéóçò ôçò (i ; i ) áêïëïõèßáò, åßíáé åðáñêÝò
íá åîåôÜóïõìå ìüíï ôá i 's, äåäïìÝíïõ üôé ôá i 's Ý÷ïõí ðñïÝëèåé áõôüìáôá áðü ôç óùóôÞ
êáôáíïìÞ áöïý ôï Ý÷åé óõãêëßíåé óôçí ðåñéèþñéá aposteriori êáôáíïìÞ ôïõ, äåßôå ôï ?.
Ìéá áðëÞ åðéëïãÞ ãéá íá åîåñåõíÞóåé ï áëãüñéèìïò ôçí (|y) åßíáé ï óõììåôñéêüò ôõ÷áßïò
ðåñßðáôïò Metropolis ìå êáíïíéêÞ ðñïôåéíüìåíç ðõêíüôçôá. Óôéò ðñïóïìïéþóåéò ìáò óõíôï-
íßóáìå ôçí ðñïôåéíüìåíç äéáóðïñÜ ãéá íá Ý÷ïõìå ðïóïóôü áðïäï÷Þò êáôÜ ðñïóÝããéóç
ðåñßðïõ 0,33. Ç óõíÜñôçóç áõôïóõó÷Ýôéóçò ôïõ ðñïêýðôïíôïò áëãïñßèìïõ áðåéêïíßæåôáé
óôï ÷áìçëüôåñï ôìÞìá ôïõ ó÷Þìáôïò ??.
Independence sampler
0.12
0.1
Autocorrelation
0.08
0.06
0.04
0.02
−0.02
0 20 40 60 80 100 120 140 160
Symmetric random walk Metropolis

1.2
1
Autocorrelation
0.8
0.6
0.4
0.2
−0.2
0 20 40 60 80 100 120 140 160
Lags
Ó÷Þìá 7.3: ÓõíáñôÞóåéò áõôïóõó÷Ýôéóçò ôïõ ãéá ôç äåéãìáôïëçøßá áíåîáñôçóßáò êáé ôï

óõììåôñéêü ôõ÷áßï ðåñßðáôï Metropolis.
Ãéá Üëëç ìéá öïñÜ, ç óõíÜñôçóç áõôïóõó÷Ýôéóçò ìåéþíåôáé áñêåôÜ áñãÜ, êáé óôçí ðñáãìá-
ôéêüôçôá ïé ôõðïðïéçìÝíïé Ýëåã÷ïé óýãêëéóçò (üðùò åßíáé äéáèÝóéìïé óôï ëïãéóìéêü CODA)
äçëþíïõí üôé ç óýãêëéóç äåí Ý÷åé åðéôåõ÷èåß ìåôÜ áðü 600000 åðáíáëÞøåéò, õðï÷ñåþíïíôáò
ìáò íá ÷ñçóéìïðïéÞóïõìå êé Üëëïõò áëãüñéèìïõò Metropolis-Hastings.
7.3 Äåéãìáôïëçøßá áíåîáñôçóßáò

Ìéá ðñïöáíÞò åíáëëáêôéêÞ ëýóç åßíáé ç ÷ñÞóç äåéãìáôïëçøßáò áíåîáñôçóßáò óôçí ðåñéèþñéá
aposteriori ðõêíüôçôá ôïõ . Ãéá ôç äåéãìáôïëçøßá áíåîáñôçóßáò, êáëýôåñá áðïôåëÝóìáôá
ëáìâÜíïíôáé üôáí ç ðñïôåéíüìåíç ðõêíüôçôá ìïéÜæåé ìå ôçí ðõêíüôçôá óôü÷ï üóï ðåñéó-
7.3. ÄÅÉÃÌÁÔÏËÇØÉÁ ÁÍÅÎÁÑÔÇÓÉÁÓ 45
óüôåñï ãßíåôáé. Åíôïýôïéò, áöïý ç áêñéâÞò ìßìçóç ôçò êáôáíïìÞò óôü÷ïõ åßíáé áäýíáôç,
åßíáé óçìáíôéêü íá ðñïóðáèÞóåé êáíåßò íá óöÜëåé ðñïôåßíïíôáò ðõêíüôçôåò ðïõ Ý÷ïõí ðéï
ðá÷éÝò ïõñÝò áðü ôçí ðõêíüôçôá óôü÷ï. Áõôü åßíáé óõíÞèùò åöéêôü óå ìïíïäéÜóôáôá
ðáñáäåßãìáôá. Óå áõôü ôï ðáñÜäåéãìá ìéá ðõêíüôçôá(ìßîçò) ôçò ìïñöÞò 0:45G (2:1; 1:5−1 )+
0:25G (1; 10−1 ) + 0:3G (1; 70−1 ), ìå G(a; b) íá óõìâïëßæåé ôçí ó.ð.ð. ÃÜììá, ìïéÜæåé ìå ôçí
(|y) áñêåôÜ êáëÜ áëëÜ Ý÷åé ìéá äåîéÜ ïõñÜ ðïõ åßíáé ìåãáëýôåñç (heavier) áðü ôçí
üðùò åßíáé åðéèõìçôü. Äåßôå ôï Ó÷Þìá ??. Ç ðñïêýðôïõóá äåéãìáôïëçøßá áíåîáñôçóßáò
0 10 20 30 40 50 60 70 80 90 100
alpha
Ó÷Þìá 7.4: Óýãêñéóç ôïõ (|y) êáé ôçò ðñïôåéíüìåíçò ðõêíüôçôáò åðéëåãìÝíçò ãéá ôçí
äåéãìáôïëçøßá áíåîáñôçóßáò. Óõíå÷Þò ãñáììÞ: ìßîç ôçò Gamma. ÄéáêåêïììÝíç ãñáììÞ:
(|y).
ðáñÜãåé ôçí óõíÜñôçóç áõôïóõó÷Ýôéóçò ðïõ öáßíåôáé óôï ?? êáé ðïóïóôü åðéôõ÷ßáò 0:76,
ðïëý õøçëü ãéá áõôüí ôïí áëãüñéèìï.
Ôï ó÷Þìá ?? ðáñïõóéÜæåé ôìÞìáôá áðü ôá äåßãìáôá ôïõ log ãéá ôçí äåéãìáôïëçøßá
áíåîáñôçóßáò êáé ôïí óõììåôñéêü ôõ÷áßï ðåñßðáôï Metropolis ôçò ÐáñáãñÜöïõ 7:2. Åßíáé
óáöÝò üôé ï áëãüñéèìïò Metropolis ôõ÷áßïõ ðåñßðáôïõ ðáñïõóéÜæåé äéáäñïìÝò óôç äåîéÜ
ïõñÜ ôçò ( | y) ïé ïðïßåò åßíáé áðñüâëåðôåò êáé ìç êáíïíéêÝò. Áõôü åßíáé Ýíá êïéíü
öáéíüìåíï ãéá ôïí áëãüñéèìï ôõ÷áßïõ ðåñßðáôïõ óôéò ðõêíüôçôåò ìå ðá÷éÝò ïõñÝò, êáé
ïäçãåß óå ðåñáéôÝñù ðñïâëÞìáôá áíáîéüðéóôùí Monte Carlo åêôéìÞóåùí. Äåßôå, ðáñá-
äåßãìáôïò ÷Üñéí, ôï ?. Ìéá ëýóç åßíáé ç ÷ñÞóç ðñïôåéíüìåíùí ôõ÷áßùí ðåñéðÜôùí ìå
êáôáíïìÝò ìå ðá÷éÝò ïõñÝò, äåßôå ôï (?).
Áðü ôçí Üëëç ìåñéÜ, ç äåéãìáôïëçøßá áíåîáñôçóßáò öáßíåôáé íá Ý÷åé ìéêñÝò áëëÜ óõ÷íÝò
ðåñéçãÞóåéò óôéò ïõñÝò, ðïõ äåß÷íïõí üôé ôï äåßãìá áðü áõôÞ ôç äåéãìáôïëçøßá åßíáé ðéï
áîéüðéóôo.
¸íáò Üëëïò ôñüðïò íá åñåõíçèåß ç óõìðåñéöïñÜ áõôþí ôùí áëãïñßèìùí åßíáé íá ÷ùñßóïõìå
ôï MCMC äåßãìá óå ïìÜäåò óôáèåñïý ìåãÝèïõò, ãéá ðáñÜäåéãìá êÜèå ìßá ìÞêïõò 100
Independence sampler
8
−2
−4
0 500 1000 1500 2000 2500 3000 3500 4000 4500 5000
Symmetric random walk Metropolis

6
−2
−4
−6
0 500 1000 1500 2000 2500 3000 3500 4000 4500 5000
Iterations
Ó÷Þìá 7.5: Äåßãìáôá ôïõ log ãéá ôçí äåéãìáôïëçøßáò óðïõäáéüôçôáò êáé ôï óõììåôñéêü
ôõ÷áßï ðåñßðáôï Metropolis.
åðáíáëÞøåùí. Ãéá êÜèå ïìÜäá õðïëïãßæïõìå üôé ôïí ìÝóï ðáñôßäáò, Ýóôù Bi , êáé ôï
ðïóïóôü áðïäï÷Þò ðáñôßäáò, Ýóôù ai . ÔåëéêÜ ðáñÜãïõìå Ýíá ãñÜöçìá óçìåßùí ôùí (Bi ; ai )
ôéìþí, äåßôå ôï ó÷Þìá ??.
ÓõíïëéêÜ, ôï ðïóïóôü áðïäï÷Þò ôçò äåéãìáôïëçøßáò áíåîáñôçóßáò ðñÝðåé íá åßíáé üóï
ôï äõíáôüí õøçëü, åíþ áõôïý ôïõ áëãïñßèìïõ ôõ÷áßïõ ðåñéðÜôïõ ðñÝðåé êáíïíéêÜ íá
åßíáé ìåôáîý 0:2 and 0:5. Åíôïýôïéò ôá ãñáöÞìáôá óôï ó÷Þìá ?? êïéôÜíå ðéï âáèéÜ
ôïí ôñüðï ìå ôïí ïðïßï ôï ðïóïóôü áðïäï÷Þò ðïéêßëëåé óôï ðåäßï ïñéóìïý. Áõôü ìðïñåß
íá åßíáé ÷ñÞóéìï óôï íá åíôïðßóåé êáíåßò ôá ìç ðñïöáíÞ ìå Üëëåò ìåèüäïõò ðñïâëÞìáôá
óýãêëéóçò, êáé åðéðëÝïí ìðïñåß óõ÷íÜ íá ÷ñçóéìïðïéçèåß óôï íá ðñïôåßíåé êáëýôåñïõò
äåéãìáôïëÞðôåò, ðáñáäåßãìáôïò ÷Üñéí äåéãìáôïëÞðôåò ðïõ óõìðåñéöÝñïíôáé äéáöïñåôéêÜ óå
äéáöïñåôéêÜ ôìÞìáôá ôïõ ÷þñïõ. Ôï ó÷Þìá ?? äåß÷íåé üôé ç äåéãìáôïëçøßá áíåîáñôçóßáò
Ý÷åé ÷áìçëÜ ðïóïóôÜ áðïäï÷Þò óôçí áñéóôåñÞ ïõñÜ ôçò ðõêíüôçôáò, ðïõ äåß÷íåé üôé ãéá
áõôÝò ôéìÝò ôïõ êïíôÜ óôï ìçäÝí ç ðñïôåéíüìåíç ðõêíüôçôá êáé ç ðõêíüôçôá-óôü÷ïò äåí
ôáéñéÜæïõí êáëÜ êáé ôá ðïóïóôÜ áðïäï÷Þò åßíáé ðïëý ÷áìçëÜ äçìéïõñãþíôáò «êüëëçìá»
óôï ÷þñï êáôáóôÜóåùí. Áöïý ôï åßíáé ìç öñáãìÝíï ãéá ôï êïíôÜ óôï 0, áõôü ðñÝðåé íá
áíáìÝíåôáé. ÊáôÜ óõíÝðåéá áí êáé ç ãåíéêÞ óõìðåñéöïñÜ ôçò äåéãìáôïëçøßáò öáßíåôáé êáëÞ
ãéá áõôÞí ôçí åéäéêÞ MCMC ðñïóïìïßùóç, ç áíåîÜñôçôç ðñïóïìïßùóç ìðïñåß íá êïëëÞóåé
êïíôÜ óôï 0 ãéá ðïëëÝò åðáíáëÞøåéò, êÜíïíôáò êáôÜ óõíÝðåéá ôçí åêôßìçóç Monte Carlo
ïðïéùíäÞðïôå ðïóïôÞôùí ðïõ ìáò åíäéáöÝñïõí ðïëý áíáêñéâÞ.
7.4. Ï ÐÏËËÁÐËÁÓÉÁÓÔÉÊÏÓ ÁËÃÏÑÉÈÌÏÓ ÔÕ×ÁÉÏÕ ÐÅÑÉÐÁÔÏÕ 47
Independence Sampler Symmetric random walk
800 1200
700
1000
600
800
500
Batch mean
Batch mean
400 600
300
400
200
200
100
0 0
0.45 0.5 0.55 0.6 0.65 0.7 0.75 0.8 0.85 0.9 0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1
Probability of acceptance Probability of acceptance
Ó÷Þìá 7.6: ÐïóïóôÜ áðïäï÷Þò Ýíáíôé ìÝóùí ïìÜäùí ãéá ìÝãåèïò ïìÜäáò 100.
Ï ôõ÷áßïò ðåñßðáôïò Metropolis åßíáé ðñïâëçìáôéêüò óôç äåîéÜ ïõñÜ ( | y) áöïý ïé

õøçëÝò ðéèáíüôçôåò áðïäï÷Þò äåß÷íïõí üôé ï áëãüñéèìïò óõìðåñéöÝñåôáé ðáñüìïéá ìå Ýíáí
ôõ÷áßï ðåñßðáôï (÷ùñßò êáèüëïõ áðïññßøåéò). Áõôü ðñïêáëåßôáé áðü ôï ãåãïíüò üôé áõôÞ
ç ðõêíüôçôá-óôü÷ïò ìå ðá÷éÝò ïõñÝò åßíáé åîáéñåôéêÜ åðßðåäç óå áõôÞí ôçí ðåñéï÷Þ ïõñþí.
Ïé ôõ÷áßïé ðåñßðáôïé åßíáé ãíùóôü üôé Ý÷ïõí ðïëý ðá÷éÝò ïõñÝò êáé ùò åê ôïýôïõ áóôáèåßò
ðåñéçãÞóåéò, êáé áõôü åßíáé óýìöùíï ìå áõôü ðïõ ðáñáôçñïýìå óôï ó÷Þìá ??. Ìéá öõóéêÞ
ëýóç åäþ èá Þôáí íá ðñïôáèïýí ìåãáëýôåñåò êéíÞóåéò óôç äåîéÜ ðåñéï÷Þ ïõñþí, êáé Ýíáò
öõóéêüò ôñüðïò íá ãßíåé áõôü áõôüìáôá èá Þôáí íá ÷ñçóéìïðïéçèåß ï ðïëëáðëáóéáóôéêüò
áëãüñéèìïò Metropolis ôõ÷áßïõ ðåñßðáôïõ.
7.4 Ï ðïëëáðëáóéáóôéêüò áëãüñéèìïò ôõ÷áßïõ ðåñßðáôïõ

Ãéá èåôéêÝò ôõ÷áßåò ìåôáâëçôÝò, åßíáé óõ÷íÜ óõíåôü íá ÷ñçóéìïðïéçèåß ï ðïëëáðëáóéáóôéêüò
ôõ÷áßïò ðåñéðÜôïò Metropolis ãéá íá ìáò ðñïöõëÜîåé áðü ôéò êáôáíïìÝò-óôü÷ï ìå ðá÷éÝò
ïõñÝò. Ãéá áõôü ôï ðáñÜäåéãìá, ìåôÜ áðü 300000 åðáíáëÞøåéò, ôï ãñÜöçìá ôïõ ðñïêýðôïí-
ôïò ðïóïóôïý áðïäï÷Þò åíÜíôéá óôçí áðåéêüíéóç ìÝóùí ïìÜäùí ðáñïõóéÜæåôáé óôï áñéóôåñü
ôìÞìá ôïõ Ó÷Þìáôïò ??. Ôþñá, ç ðéèáíüôçôá ôçò áðïäï÷Þò äåí óõãêëßíåé óôï 1 óôç äåîéÜ
ïõñÜ. Åíôïýôïéò õðÜñ÷ïõí ìåñéêÜ ðïëý õøçëÜ ðïóïóôÜ áðïäï÷Þò ãéá ðïëý ìéêñÝò ìÝóåò
ôéìÝò ïìÜäùí ðïõ äåß÷íïõí üôé ßóùò ï áëãüñéèìïò íá êïëëÞóåé óå áõôÞí ôçí ðåñéï÷Þ,
ðñïôåßíïíôáò (êáé ó÷åäüí ðÜíôá íá äÝ÷åôáé) ðïëý ìéêñÝò êéíÞóåéò óå êÜèå åðáíÜëçøç.
Multiplicative random walk Modified multiplicative random walk
300 350
300
250
250
200
Batch mean
Batch mean
200
150
150
100
100
50
50
0 0
0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1 0 0.1 0.2 0.3 0.4 0.5 0.6 0.7
Probability of acceptance Probability of acceptance
Ó÷Þìá 7.7: ÐïóïóôÜ áðïäï÷Þò Ýíáíôé ìÝóùí ïìÜäùí ãéá ìÝãåèïò ïìÜäáò 100.
ÅðïìÝíùò öáßíåôáé êáôÜëëçëï íá ðñïóðáèÞóïõìå íá åöáñìüóïõìå ôïí ðïëëáðëáóéáóôéêü

ôõ÷áßï ðåñéðÜôï Metropolis, ï ïðïßïò åíåñãïðïéåß Ýíáí óõììåôñéêü ôõ÷áßï ðåñßðáôï óôï
log(1 + ). ÁõôÞ ç ìÝèïäïò äåí ÷ñåéÜæåôáé íá ðåñéïñßæåé ôéò ðñïôåéíüìåíåò äéáóðïñÝò íá
ðëçóéÜæïõí ôï ìçäÝí ãéá ìéêñÝò ôéìÝò ôïõ . Ôá ðñïêýðôïíôá ðïóïóôÜ áðïäï÷Þò Ýíáíôé
ìÝóùí ïìÜäáò ðáñïõóéÜæïíôáé óôï äåîß ãñÜöçìá ôïõ Ó÷Þìáôïò ?? êáé äåß÷íåé ôç óáöÞ
âåëôßùóç óå ó÷Ýóç ìå ôïí ôõðïðïéçìÝíï ðïëëáðëáóéáóôéêü ôõ÷áßï ðåñßðáôï Metropolis
áöïý ïé ðéèáíüôçôåò áðïäï÷Þò ðáñáìÝíïõí êõñßùò óôçí åðéèõìçôÞ ðåñéï÷Þ 0:2-0:5. Ãéá
íá ïëïêëçñþóïõìå ôçí åéêüíá, ôá áíôßóôïé÷á (log) ãñáöÞìáôá ôùí äåéãìÜôùí êáé ôùí
óõíáñôÞóåùí áõôïóõó÷Ýôéóçò ãéá ôïõò áëãïñßèìïõò ðïëëáðëáóéáóôéêþí ôõ÷áßùí ðåñéðÜôùí
áðåéêïíßæïíôáé óôá ó÷Þìáôá ?? êáé ?? áíôßóôïé÷á.
ÔÝëïò, óçìåéþóôå üôé óå áõôü ôï åðåîçãçìáôéêü ðáñÜäåéãìá ç ðõêíüôçôá óôü÷ïò áðü ôçí
ïðïßá èÝëïõìå íá ðÜñïõìå äåßãìá åßíáé ìïíïäéÜóôáôç, êáé Ýôóé åßíáé åýêïëï íá åñåõíçèåß.
Óôéò ðåñéóóüôåñåò ðåñéðôþóåéò, êáé åéäéêüôåñá óôéò Metropolis-within-Gibbs êáôáóôÜóåéò,
ôüóï ëåðôïìåñåéáêÞ êáé ðåñéãñáöéêÞ áíÜëõóç åßíáé áäýíáôç êáé áõôü ðïõ ìÝíåé óôïí
MCMC ÷ñÞóôç åßíáé ç äõíáôüôçôá íá ôñÝ÷åé åðáíåéëçììÝíá ôïõò äéáöïñåôéêïýò áëãüñéèìïõò
ìå äéáöïñåôéêÝò áöåôçñßåò-óçìåßá êáé íá åñåõíÜ ðñïóåêôéêÜ ôá äéáãíùóôéêÜ ãñáöÞìáôá.
Åíôïýôïéò, ïé ãåíéêÝò áñ÷Ýò ðïõ óõæçôÞèçêáí óå áõôÞ ôçí ðáñÜãñáöï ó÷åôéêÜ ìå ôç ÷ñÞóç
ôùí äåéãìáôïëçðôþí áíåîáñôçóßáò, ôùí äåéãìáôïëçðôþí ôõ÷áßùí ðåñéðÜôùí, ôéò êáôáíïìÝò
ìå ðá÷éÝò ïõñÝò, ê.ëð. ìåôáöÝñïíôáé óå ðåñéóóüôåñï óýíèåôá ðñïâëÞìáôá.
7.4. Ï ÐÏËËÁÐËÁÓÉÁÓÔÉÊÏÓ ÁËÃÏÑÉÈÌÏÓ ÔÕ×ÁÉÏÕ ÐÅÑÉÐÁÔÏÕ 49
Multiplicative random walk Metropolis

10
−10
−20
−30
−40
0 500 1000 1500 2000 2500 3000 3500 4000 4500 5000
Modified multiplicative random walk Metropolis

10
−5
−10
0 500 1000 1500 2000 2500 3000 3500 4000 4500 5000
Iterations
Ó÷Þìá 7.8: Äåßãìáôá ôïõ log ãéá ðïëëáðëáóéáóôéêïýò êáé ôñïðïðïéçìÝíïõò ðïëëáðëïýò
äåéãìáôïëÞðôåò Metropolis
Multiplicative random walk Metropolis

0.6
0.5
Autocorrelation
0.4
0.3
0.2
0.1
−0.1
0 20 40 60 80 100 120 140 160
Modified multiplicative random walk Metropolis

0.8
0.6
Autocorrelation
0.4
0.2
−0.2
0 20 40 60 80 100 120 140 160
Lags
Ó÷Þìá 7.9: ÓõíáñôÞóåéò áõôïóõó÷Ýôéóçò ôïõ ãéá ôïõò ðïëëáðëáóéáóôéêïýò êáé

ôñïðïðïéçìÝíïõò ðïëëáðëáóéáóôéêïýò äåéãìáôïëÞðôåò Metropolis
Åõ÷áñéóôßåò
Èá èÝëáìå íá åõ÷áñéóôÞóïõìå ôç Ëïõêßá Ìåëéãïôóßäïõ, ôïí ¼ìçñï Ðáðáóðçëéüðïõëï êáé
ôï ÓôÝöáíï ÔïíåëëÜôï ãéá ÷ñÞóéìá ó÷üëéá êáé óõæçôÞóåéò.
Âéâëéïãñáößá
Besag, J. (1994). Comments on \Representations of knowledge in complex systems" by

U. Grenander and M.I. Miller, Journal of the Royal Statistical Society, Series B
56: 591{592.
Besag, J. & Green, P. J. (1993). Spatial statistics and Bayesian computation (with dis-
cussion), Journal of the Royal Statistical Society, Series B 55: 25{37.
Brooks, S. P., Giudici, P. & Roberts, G. O. (2002). Ecient construction of reversible
jump MCMC proposal distributions, Journal of the Royal Statistical Society, Series
B, to appear .
Brooks, S. P. & Roberts, G. O. (1998). Diagnosing convergence of Markov chain Monte
Carlo algorithms, Statistics and computing 8: 319{335.
Chen, M. & Shao, Q.-M. (1997). Estimating ratios of normalizing constants for densities
with dierent dimensions, Statistica Sinica 7: 607{630.
Chib, S. (1995). Marginal likelihood from the Gibbs output, Journal of the American
Statistical Association 90: 1313{1321.
Cowles, M. K. & Carlin, B. P. (1996). Markov chain Monte Carlo convergence diagnostics:
a comparative review, Journal of the American Statistical Association 91: 883{904.
Damien, P., Wakeeld, J. & Walker, S. (1999). Gibbs sampling for Bayesian non-conjugate
and hierarchical models by using auxiliary variables, Journal of the Royal Statistical
Society, Series B 61: 331{344.
Dellaportas, P. & Forster, J. J. (1999). Markov chain Monte Carlo model determination
for hierarchical and graphical log-linear models, Biometrika 86: 615{633.
Dellaportas, P., Forster, J. J. & Ntzoufras, I. (2002). On Bayesian model and variable
selection using MCMC, Statistics and Computing 12: 27{36.
51
52 ÂÉÂËÉÏÃÑÁÖÉÁ
Dellaportas, P. & Smith, A. F. M. (1993). Bayesian inference for generalised linear and
proportional hazards models via Gibbs sampling, Applied Statistics 42: 443{459.
Devroye, L. (1986). Non-Uniform Random Variate Generation, Springer-Verlag, New
York.
Edwards, R. & Sokal, A. (1988). Generalization of the Fortium-Kasteleyn-Swendsen-
Wang representation and Monte Carlo algorithm, Physical Review Letters D
38: 2009{2012.
Gamerman, D. (1997). Markov Chain Monte Carlo: Stochastic Simulation for Bayesian
Inference, Chapman and Hall, London.
Gelfand, A. E. & Dey, D. K. (1994). Bayesian model choice: Asymptotics and exact
calculations, Journal of the Royal Statistical Society, Series B 56: 501{514.
Gelfand, A. E. & Smith, A. F. M. (1990). Sampling-based approaches to calculating
marginal densities, Journal of the American Statistical Association 85: 398{409.
Gelman, A. & Meng, X. L. (1998). Simulating normalising constants: From importance
sampling to bridge sampling to path sampling, Statistical Science 13: 163{185.
Gelman, A., Roberts, G. O. & Gilks, W. (1996). Ecient Metropolis jumping rules,
Bayesian Statistics V pp. 599{608.
Gelman, A. & Rubin, D. (1992). Inference from iterative simulation using multiple se-
quences, Statistical Science 7: 457{472.
Geman, S. & Geman, D. (1984). Stochastic relaxation, Gibbs distributions and the
Bayesian restoration of images, IEEE Transactions of Pattern Analysis and Machine
Intelligence 6: 721{741.
Geyer, C. (1992). Practical Markov chain Monte Carlo, Statistical Science 7: 473{483.
Geyer, C. J. & Thompson, E. A. (1992). Constrained Monte Carlo maximum likelihood
for dependent data (with discussion), Journal of the Royal Statistical Society, Series
B 38: 657{699.
Geyer, C. & Mller, J. (1994). Simulation procedures and likelihood inference for spatial
point processes, Scandinavian Journal of Statistics 21: 359{373.
Gilks, W. R., Richardson, S. & Spiegelhalter, D. J. (eds) (1996). Markov Chain Monte
Carlo in Practice, Chapman and Hall, London.
ÂÉÂËÉÏÃÑÁÖÉÁ 53
Gilks, W. & Wild, P. (1992). Adaptive rejection sampling for Gibbs sampling, Applied
Statistics 41: 37{348.
Green, P. J. (1995). Reversible jump Markov chain Monte Carlo computation and
Bayesian model determination, Biometrika 82: 711{732.
Green, P. J. (2002). Reversible jump MCMC, in P. J. Green, N. Hjort & S. Richardson
(eds), Highly Structured Stochastic Systems, Oxford University Press, to appear.
Grenander, U. & Miller, M. (1994). Representations of knowledge in complex systems
(with discussion), Journal of the Royal Statistical Society, Series B 56: 549{603.
Gruet, M.-A. & Robert, C. (1997). Comment on `Bayesian analysis of mixtures with an
unknown number of components' by S. Richardson and P.J. Green, Journal of Royal
Statistical Society Series B 59: 777.
Hills, S. E. & Smith, A. F. M. (1992). Parameterization issues in Bayesian inference, in
J. Bernardo, J. Berger, A. Dawid & A. Smith (eds), Bayesian Statistics 4, Oxford,
pp. 227{246.
Jarner, S. & Roberts, G. O. (2002a). Convergence of heavy tailed MCMC algorithms,
submitted for publication, available at http://www.statslab.cam.ac.uk/∼mcmc .
Jarner, S. & Roberts, G. O. (2002b). Polynomial convergence rates of Markov chains,
Annals of Applied Probability .
Jeliazkov, I. & Chib, S. (2001). Marginal likelihood from the Metropolis-Hastings output,
Journal of the American Statistical Association 96: 270{281.
Kass, R. E., Carlin, B. P., Gelman, A. & Neal, R. (1998). Markov chain Monte Carlo in
practice: a roundtable discussion, The American Statistician 52: 93{100.
Kass, R. & Raftery, A. (1995). Bayes factors, Journal of the American Statistical Asso-
ciation 90: 773{795.
Liu, J. (2001). Monte Carlo Strategies in Scientic Computing, Springer-Verlag, New
York.
Madigan, D. & York, J. (1995). Bayesian graphical models for discrete data, International
Statistical Review 63: 215{232.
Meng, X. L. & van Dyk, D. A. (1997). The EM algorithm - an old folk-song to a fast new
tune, Journal of the Royal Statistical Society, Series B 59: 511{567.
Meng, X. L. & Wong, W. H. (1996). Simulating ratios of normalising constants via a

simple identity: A theoretical exploration, Statistica Sinica 6: 831{860.
Mengersen, K. L., Robert, C. P. & Guihenneuc-Jouyaux, C. (1999). MCMC convergence
diagnostics: A reviewww, in A. P. D. J. M. Bernardo, J. O. Berger & A. F. M. Smith
(eds), Bayesian Statistics 6, Oxford University Press, UK, pp. 415{440.
Metropolis, N., Rosenbluth, A., Rosenbluth, M., Teller, A. & Teller, E. (1953). Equa-
tions of state calculations by fast computing machines, Journal of Chemical Physics
21: 1087{1091.
Meyn, S. P. & Tweedie, R. L. (1993). Markov Chains and Stochastic Stability, Springer-
Verlag, London.
Mller, J. (1999). Markov chain Monte Carlo and spatial point processes, Vol. Stochastic
Geometry: Likelihood and Computations of Monographs on Statistics and Applied
Probability, Chapman and Hall, pp. 141{172. O.E. Barndor-Nielsen, W.S. Kendall
and M.N.M. van Lieshout.
Neal, R. M. (2002). Slice sampling, with discussion, Annals of Statistics, to appear .
Newton, M. A. & Raftery, A. E. (1994). Approximate Bayesian inference by the weighted
likelihood bootstrap (with discussion), Journal of the Royal Statistical Society, series
B 56: 1{48.
Ntzoufras, I., Dellaportas, P. & Forster, J. (2002). Bayesian variable and link determina-
tion for generalised linear models, Journal of Statistical Planning and Inference, to
appear .
Papaspiliopoulos, O., Roberts, G. O. & Skold, M. (2002). Parameterisation of hierarchical
models and data augmentation, in J. M. Bernardo, J. Berger, A. P. Dawid & A. F. M.
Smith (eds), Bayesian Statistics 7, Oxford University Press, UK, to appear.
Richardson, S. & Green, P. J. (1997). On Bayesian analysis of mixtures with an unknown
number of components (with discussion), Journal of the Royal Statistical Society,
Series B 59: 731{792.
Robert, C. P. & Casella, G. (1999). Monte Carlo Statistical Methods, Springer, New York.
Robert, C., Ryden, T. & Titterington, D. (2000). Bayesian inference in hidden Markov
models through the reversible jump Markov chain Monte Carlo method, Journal of
the Royal Statistical Society, Series B 62: 57{75.
ÂÉÂËÉÏÃÑÁÖÉÁ 55
Roberts, G. O. (2002). Linking theory and practice of MCMC, in P. J. Green, N. Hjort &
S. Richardson (eds), Highly Structured Stochastic Systems, Oxford University Press,
to appear.
Roberts, G. O., Gelman, A. & Gilks, W. (1997). Weak convergence and optimal scaling
of random walk Metropolis algorithms, Annals of Applied Probability 7: 110{120.
Roberts, G. O. & Rosenthal, J. S. (1997). Geometric ergodicity and hybrid Markov chains,
Electronic Communications in Probability 2: 2.
Roberts, G. O. & Rosenthal, J. S. (1998). Optimal scaling of discrete approximations to
Langevin diusions, Journal of the Royal Statistical Society, Series B 60: 255{268.
Roberts, G. O. & Sahu, S. K. (1997). Updating schemes, correlation structure, blocking
and parameterisation for the Gibbs sampler, Journal of the Royal Statistical Society,
Series B 59: 291{397.
Roberts, G. O. & Skold, M. (2001). Marginal density es-
timation for the Metropolis-Hastingsalgorithm, available at
http://www.maths.lancs.ac.uk/∼robertgo/RobSko01.ps .
Roberts, G. O. & Smith, A. (1994). Simple conditions for the convergence of the Gibbs
sampler and Metropolis-Hastings algorithms, Stochastic Processes and their Appli-
cations 49: 207{216.
Roberts, G. O. & Tweedie, R. L. (1996). Exponential convergence of Langevin diusions
and their discrete approximations, Bernoulli 2: 341{364.
Roberts, G. O. & Tweedie, R. L. (2002). Understanding MCMC, in preparation.
Roberts, G. & Rosenthal, J. (2001a). Markov chains and de-initializing processes, Scan-
dinavian Journal of Statistics 28: 489{504.
Roberts, G. & Rosenthal, J. (2001b). Optimal scaling of various Metropolis-Hastings
algorithms, Statistical Science 16: 351{367.
Rue, H. (2001). Fast sampling of Gaussian Markov random elds, Journal of the Royal
Statistical Society, Series B 63: 325{338.
Smith, A. F. M. & Roberts, G. O. (1993). Bayesian computation via the Gibbs sampler
and related Markov chain Monte Carlo methods (with discussion), Journal of the
Royal Statistical Society, Series B 55: 3{24.
Stramer, O. & Tweedie, R. L. (1999). Langevin-Type Models II: Self-targeting candidates

for MCMC algorithms, Methodology and Computing in Applied Probability pp. 307{
328.
Suomela, P. (1976). Construction of nearest neighbour systems, Dissertation 10, Depart-
ment of Mathematics, University of Helsinki .
Swendsen, R. H. & Wang, J. S. (1987). Non-universal critical dynamics in Monte Carlo
simulations, Physical Review Letters 58: 86{88.
Tanner, M. (1996). Tools for Statistical Inference: Methods for Exploration of Posterior
Distributions and Likelihood Functions, 3rd edition, Springer-Verlag, New York.
Tierney, L. (1994). Markov chains for exploring posterior distributions (with discussion),
Annals of Statistics 22: 1701{1762.
Tierney, L. (1998). A note on Metropolis-Hastings kernels for general state-spaces, Annals
of Applied Probability 8: 1{9.
ÅõñåôÞñéï
Auxiliary variables, 12 ÄåéãìáôïëÞðôçò Gibbs, 3
collapsed, 23
blocking, 23
ÄåéãìáôïëÞðôçò áíåîáñôçóßáò, 9
burn-in, 25
Äåéãìáôïëçøßá ãÝöõñáò, 34
Langevin áëãüñéèìïò, 11 Äåéãìáôïëçøßá ìïíïðáôéïý, 36
ÄåóìåõìÝíç óõæõãßá, 4
Metropolis-adjusted Langevin algorithm, 11
ÄéáãíùóôéêÜ óýãêëéóçò, 25
Metropolis-Hastings, 1
independent, 9 ÅêôéìÞôñéá kernel ðõêíüôçôáò, 29
symmetric random walk, 9
ËáíèÜíïíôá ìïíôÝëá, 5
Ðïëëáðëáóéáóôéêüò ôõ÷áßïò ðåñßðáôïò,
ËïãáñéèìéêÜ êõñôÝò ðõêíüôçôåò, 21
10
ÔñïðïðïéçìÝíïò ðïë/êüò ðåñßðáôïò, 10 Ðáñáìåôñïðïßçóç, 23
Metropolis-Hastings, Langevin, 10 Ðéèáíüôçôá ìåôÜâáóçò, 16
Metropolis-within-Gibbs, 22 ÐëÞñùò äåóìåõìÝíåò êáôáíïìÝò, 3
Monte Carlo åêôéìÞôñéá, 27 Ðïëëáðëáóéáóôéêüò ôõ÷áßïò ðåñßðáôïò, 10
ÐñïóáõîçìÝíá äåäïìÝíá, 5
Simulated annealing, 30
ÓôÜóéìç êáôáíïìÞ, 16
Áëõóßäá Markov, 15
Óõììåôñéêüò ôõ÷áßïò ðåñßðáôïò, 9
Ýììïíç, 16
Óõí-óõó÷Ýôéóç, 26
áíÜãùãç, 15
Óýãêëéóç, 25
áðåñéïäéêÞ, 15
ãåùìåôñéêÞ åñãïäéêüôçôá, 19
åñãïäéêüôçôá, 18
èåôéêÜ Ýììïíç, 16
óýãêëéóç, 18
Áðïôåëåóìáôéêü ìÝãåèïò äåßãìáôïò, 28
Áñ÷éêÞ ìåôáâáôéêÞ öÜóç, 25
Áõôïóõó÷Ýôéóç, 26
ÄåéãìáôïëÞðôçs Gibbs, 1
57

MCMC Greek

Caricato da

Informazioni sul documento

Titolo originale

Copyright

Formati disponibili

Condividi questo documento

Condividi o incorpora il documento

Opzioni di condivisione

Hai trovato utile questo documento?

Questo contenuto è inappropriato?

Copyright:

Formati disponibili

MCMC Greek

Caricato da

Copyright:

Formati disponibili

ÅéóáãùãÞ óôï MCMC

ÐÝôñïò Äåëëáðüñôáò êáé Gareth O. Roberts

4 Ç èåùñßá ôïõ MCMC 15

6 Ðñïóäéïñéóìüò ìïíôÝëïõ ìå ôç ÷ñÞóç MCMC 33

7 ¸íá åðåîçãçìáôéêü ðáñÜäåéãìá 41

ìðïñïýí íá óõíäõáóôïýí ìå ðïëëïýò äéáöïñåôéêïýò ôñüðïõò áíÜëïãá ìå ôï ðñüâëçìá.

Áëãüñéèìïò 1 : Ï äåéãìáôïëÞðôçò Gibbs

1. ÎåêéíÞóôå ìå X 0 = (X0(1) ; : : : ; X0(d) ).

2. Ðñïóïìïéþóôå X1(1) áðü ôçí äåóìåõìÝíç X (1) |(X0(2) ; : : : ; X0(d) ).

Ðñïóïìïéþóôå X1(2) áðü ôçí äåóìåõìÝíç X (2) |(X1(1) ; X0(3) ; : : : ; X0(d) ).

Ïé ðñáãìáôïðïéÞóåéò X 1 ; X 2 ; : : : ðïõ ðñïÞëèáí áðü ôï åðáíáëçðôéêü âÞìá 2 ðñïóïìïéþèçêáí

ðñáãìáôïðïéÞóåéò áðü ôçí êáôáíïìÞ áõôÞ.

2.1 ÄåéãìáôïëÞðôçò Gibbs êáé ÌðåûæéáíÞ ÓôáôéóôéêÞ

2.2 ÐñïóáõîçìÝíá äåäïìÝíá

(θ; y mis |y obs ) ∝ (y obs ; y mis |θ)0 (θ); (2.1)

üðïõ 0 åßíáé ç apriori ðõêíüôçôá ãéá ôï . Ç ðñïóáýîçóç äåäïìÝíùí óõíå÷ßæåôáé ìå

2.3 ÄåéãìáôïëÞðôçò Gibbs êáé Óýãêëéóç

Ï âáóéêüò áëãüñéèìïò Metropolis-Hastings ðñïóöÝñåé ìéá åõÝëéêôç ïéêïãÝíåéá áðü áëãü-

Áëãüñéèìïò 2 : Ï Metropolis-Hastings áëãüñéèìïò.

1. ÄïèÝíôïò ôçò n-ïóôÞò ôéìÞò, Xn = x, 'ãåííÞóôå' ìéá `õðïøÞöéá ôéìÞ' y ∗

2. Õðïëïãßóôå ôï (x; y ∗ ) üðïõ

3. Ìå ðéèáíüôçôá (x; y ∗ ) äå÷ôåßôå ôçí õðïøÞöéá ôéìÞ êáé

Ï áëãüñéèìïò Metropolis-Hastings Ý÷åé ôï óçìáíôéêü ðëåïíÝêôçìá Ýíáíôé ôïõ Äåéãìáôï-

3.1 Ðáñáäåßãìáôá áëãüñéèìùí Metropolis-Hastings

ðáñáäåßãìáôïò ÷Üñéí, ôï ?. ¼ëïé ïé áëãüñéèìïé MCMC ðïõ Ý÷ïõí ÷ñçóéìïðïéçèåß ìðïñïýí

3.2 Ï äåéãìáôïëÞðôçò áíåîáñôçóßáò

3.3 Óõììåôñéêüò ôõ÷áßïò ðåñßðáôïò Metropolis

üôé íá áðïìáêñõíèåß áðü áõôÝò.

3.4 Áëãüñéèìïé ðïëëáðëáóéáóôéêïý ôõ÷áßïõ ðåñßðáôïõ

3.5 Áëãüñéèìïé Langevin

3.6 Ï äåéãìáôïëÞðôçò ôïõ Gibbs

qi (x; y) = (y(i) | x(1) ; : : : x(i−1) ; x(i+1) ; : : : x(d) )

3.7 ÌÝèïäïò âïçèçôéêþí ìåôáâëçôþí

êáôáíïìÞ äïèÝíôïò ôïõ X :

E (x; u) ∝ (x)h(u|x) : (3.6)

Ôþñá ïñßóôå ôï U óáí l äåóìåõìÝíá áíåîÜñôçôåò óõíéóôþóåò ìå

U (i) |X ∼ U (0; fi (X)) : (3.8)

E (x; u) ∝ f0 (x)1[x ∈ S (u)] (3.9)

Ç èåùñßá ôïõ MCMC

4.1 Áëõóßäåò Markov êáé MCMC

P [Xn ∈ A | Xn−1 = xn−1 ; Xn−2 = xn−2 ; : : : ; X0 = x0 ]

= P [Xn ∈ A | Xn−1 = xn−1 ]:

P (·) = (·) (4.4)

Xt →  êáôÜ êáôáíïìÞ êáèþò t → ∞ (4.7)

êáé ìßá ðñïóÝããéóç ôùí áðáéôïýìåíùí áíáìåíüìåíùí ôéìþí åðåéäÞ

ãéá ïðïéáäÞðïôå -ïëïêëçñþóéìç óõíÜñôçóç g.

4.2 Óýãêëéóç êáôÜ êáôáíïìÞ

Ìéá åëÜ÷éóôç áðáßôçóç ãéá ïðïéïäÞðïôå ëïãéêü áëãüñéèìï ìå ðéèáíüôçôåò ìåôÜâáóçò p

kP n (x; ·) −  (·)k := r(x; n) ↓ 0 : (4.10)

4.3 Êåíôñéêü Ïñéáêü èåþñçìá

Markov P , êáé äßíåôáé áðü ôçí

fk åßíáé ç áõôïóõó÷Ýôéóç ôùí {f (Xi ); i = 0; 1; 2; : : :} óå âÞìá k êáé üôáí ç áëõóßäá

5.1 Äåéãìáôïëçøßá áðü ôéò ðëÞñùò äåóìåõìÝíåò êáôáíïìÝò

5.2 Ðåñéóóüôåñï ãåíéêïß MCMC áëãüñéèìïé

íá ÷ñçóéìïðïéÞóåé d âÞìáôá áíáíåþóåùí áðü ôá ïðïßá ôá ðåñéóóüôåñá ðåñéëáìâÜíïõí

êáé ìç êáôÜëëçëç apriori êáôáíïìÞ ãéá ôï . Óå áõôÞí ôçí ðåñßðôùóç ìå ðáñáìÝôñïõò

5.3 ÅöáñìïãÞ êáé áíÜëõóç áðïôåëåóìÜôùí

ìéóèåß üôé ôá äéáãíùóôéêÜ óýãêëéóçò äåí ìðïñïýí íá åããõçèïýí óýãêëéóç ìå êáíÝíá

{(f (Xt ); f (Xt+k )); 1 ≤ t ≤ T − k };

êáé rkf;g íá åßíáé ç äåéãìáôéêÞ óõó÷Ýôéóç ôùí

{(f (Xt ); g (Xt+k )); 1 ≤ t ≤ T − k }:

Ç åìðåéñéêÞ óõíÜñôçóç áõôïóõó÷Ýôéóçò ôçò f (X ) ó÷åäéÜæåé ôçí óõí-óõó÷Ýôéóç ôùí ãñáöç-

ÁõôÜ ôá ãñáöÞìáôá åêôéìïýí ôá èåùñçôéêÜ ãñáöÞìáôá áõôïóõó÷Ýôéóçò êáé óõí-óõó÷Ýôéóçò,

(θ; y mis |y obs ) ∝ (y obs ; y mis |θ)0 (θ); (2.1)

üðïõ 0 åßíáé ç apriori ðõêíüôçôá ãéá ôï . Ç ðñïóáýîçóç äåäïìÝíùí óõíå÷ßæåôáé ìå

qi (x; y) = (y(i) | x(1) ; : : : x(i−1) ; x(i+1) ; : : : x(d) )

E (x; u) ∝ (x)h(u|x) : (3.6)

E (x; u) ∝ f0 (x)1[x ∈ S (u)] (3.9)

P (·) = (·) (4.4)

Xt → êáôÜ êáôáíïìÞ êáèþò t → ∞ (4.7)

ãéá ïðïéáäÞðïôå -ïëïêëçñþóéìç óõíÜñôçóç g.

kP n (x; ·) − (·)k := r(x; n) ↓ 0 : (4.10)

fk åßíáé ç áõôïóõó÷Ýôéóç ôùí {f (Xi ); i = 0; 1; 2; : : :} óå âÞìá k êáé üôáí ç áëõóßäá

êáé ìç êáôÜëëçëç apriori êáôáíïìÞ ãéá ôï . Óå áõôÞí ôçí ðåñßðôùóç ìå ðáñáìÝôñïõò

g (θ) = b (θ)=[cm (θ)cm0 (θ)] (6.6)

Ï ôõ÷áßïò ðåñßðáôïò Metropolis åßíáé ðñïâëçìáôéêüò óôç äåîéÜ ïõñÜ ( | y) áöïý ïé