Markovin ketju Monte Carlo

Tilastoissa Markov - ketjun Monte Carlo -menetelmät (eng. MCMC) ovat  luokka näytteenottoalgoritmeja , jotka mallintavat todennäköisyysjakaumaa . Rakentamalla Markovin ketju , jonka tasapainotilana on kohdejakauma, voidaan saada saman jakautumisen omaava näyte kirjoittamalla ketjun tilat muistiin. Mitä enemmän vaiheita käytetään, sitä lähempänä otosjakauma on kohdetta. Piirien rakentamiseen käytetään erilaisia ​​algoritmeja, esimerkiksi Metropolis-Hastings-algoritmia.

Sovellusalueet

MCMC:itä käytettiin alun perin ratkaisemaan useita integraaleja numeerisesti , kuten Bayesin tilastoissa , laskennallisessa fysiikassa [1] , laskennallisessa biologiassa [2] ja laskennallisessa lingvistiikassa [3] [4] .

MCMC:n viimeaikainen kehitys on mahdollistanut laskelmien suorittamisen suurissa hierarkkisissa malleissa , jotka vaativat satojen ja tuhansien muuttujien integroinnin [5] .

Harvinaisten tapahtumien simuloinnissa MCMC-menetelmiä käytetään luomaan näytteitä, jotka vähitellen täyttävät harvinaisen vian alueen.

Yleinen määritelmä

Monte Carlo - menetelmät Markov - ketjuilla luovat näytteitä valitun jatkuvan satunnaismuuttujan perusteella , jonka jakautumistiheysfunktio tunnetaan . Näitä näytteitä voidaan käyttää arvioimaan kyseisen suuren integraali keskiarvon tai varianssin avulla .

Käytännössä yleensä rakennetaan piirien sarja, joka alkaa joukosta mielivaltaisia ​​pisteitä, jotka ovat riittävän kaukana toisistaan. Nämä ketjut ovat stokastisia "kävely"-prosesseja, joissa liikkeet tapahtuvat satunnaisesti, algoritmin mukaan. Tämä algoritmi etsii alueita, joilla on suurin integraaliarvo, ja määrittää niille suurimmat todennäköisyydet.

Monte Carlon satunnaiskävelymenetelmät ovat yksi satunnaissimulaatiotyypeistä ( Monte Carlo -menetelmät ). Huomaa , että Monte Carlo - menetelmissä käytetyt integrandin satunnaisotokset ovat tilastollisesti riippumattomia . MCMC:ssä ne korreloidaan automaattisesti . Näytteiden korrelaatio johtaa siihen, että keskiarvojen virhettä arvioitaessa on käytettävä Markovin ketjujen keskirajalausetta .

Nämä algoritmit luovat Markovin ketjuja, joiden tasapainojakauma on verrannollinen annettuun funktioon.

Korrelaation lasku

MCMC-menetelmät ratkaisevat moniulotteisia ongelmia paremmin kuin Monte Carlo -algoritmit, mutta dimensioiden määrän kasvaessa ne alkavat kärsiä myös " ulottuvuuksien kirouksesta ". Suuren todennäköisyyden alueet pyrkivät venymään ja katoamaan kasvavaan tilaan, jolla on vain vähän vaikutusta integraalin arvoon. Tämä ongelma voidaan ratkaista vähentämällä kävelyaskelta, jotta se ei mene suuren todennäköisyyden alueen ulkopuolelle. Tällainen ratkaisu on kuitenkin melko pitkä (tarkan tuloksen saavuttaminen vaatii monia vaiheita) ja johtaa korkeaan autokorrelaatioon. Kehittyneemmät algoritmit, kuten Hamiltonin Monte Carlo- ja Wang-Landau-algoritmit , käyttävät erilaisia ​​tapoja vähentää autokorrelaatiota pitämällä vaellusprosessia alueilla, joilla on suurin vaikutus integraalin arvoon. Nämä algoritmit ovat paljon monimutkaisempia sekä teorian, johon ne luottavat, että sovelluksen kannalta, mutta ne konvergoivat nopeammin.

Esimerkkejä

Satunnainen kävely

• Metropolis-Hastings-algoritmi : Tämä menetelmä luo Markov-ketjun käyttämällä annettua tiheyttä ja uutta askelsuodatusta. Itse asiassa tämä on yleinen kaavio, jonka erityistapauksia ovat: aivan ensimmäinen ja yksinkertainen MCMC (Metropolis-algoritmi) sekä alla luetellut vaihtoehdot.
  • Gibbs-näytteenotto : Tämä menetelmä edellyttää, että kaikki kohdejakauman ehdolliset jakaumat tunnetaan. Jos päättely täysin ehdollisista jakaumista ei ole välitön, käytetään muita Gibbs-näytteenottolaitteita (katso esim . [6] [7] [8] ). Gibbsin näytteenotto on suosittua, koska se ei vaadi aiempaa "viritystä".
  • Langevin Monte Carlo ja muut menetelmät, jotka perustuvat tavoitetiheyden logaritmin gradienttiin (ja mahdollisesti toiseen derivaataan). Näiden menetelmien tavoitteena on ehdottaa todennäköisimpiä askeleita kohti suurempaa todennäköisyystiheyttä [9] .
  • Pseudo-marginaalinen Metropoli-Hastings: Tämä menetelmä korvaa kohdejakauman tiheyden sen puolueettomalla estimaattorilla . Menetelmää voidaan soveltaa, kun tavoitetiheyttä ei ole määritelty analyyttisesti (esim. malleissa, joissa on piileviä muuttujia).
• Kerroksellinen näytteenotto : Tämä menetelmä perustuu periaatteeseen, että jonkin jakauman näyte voidaan muodostaa ottamalla tasaisesti näytteitä kyseisen jakauman tiheysfunktion käyrän alla olevasta alueesta . Tämä menetelmä korvaa tasaisen näytteenoton pystysuunnassa tasaisella näytteenotolla vaakasuuntaisesta "kerroksesta", jonka määrittää nykyinen pystysuora sijainti.
• Moninkertainen Metropolis-algoritmi: Tämä on muunnelma Metropolis-Hastings-algoritmista, joka sallii useita yrityksiä jokaisessa pisteessä. Ottamalla suurempia askeleita jokaisessa iteraatiossa, algoritmi auttaa pääsemään eroon "mittojen kirouksesta" [10] [11] .

• Käännettävä hyppymenetelmä: toinen versio Metropolis-Hastings-algoritmista, joka sallii muutokset avaruuden ulottuvuudessa [12] . Tällaisia ​​Markov-ketjumenetelmiä on käytetty pitkään soveltavassa tilastollisessa fysiikassa , jossa joissakin ongelmissa oli jakauma, jota kutsutaan " suureksi kanoniseksi kokonaisuudeksi " (esimerkiksi vaihtelevalla määrällä molekyylejä suljetussa astiassa). Reversiibeli hyppymenetelmä on sovellettavissa käytettäessä MCMC- tai Gibbs-näytteenottoa ei-parametrisissa Bayesin malleissa, joissa sekoituskomponenttien (klusterien) lukumäärä ennustetaan automaattisesti datasta (esim. Dirichlet-prosessi tai "kiinalainen ravintolaprosessi").
• Hamiltonin (hybridi) Monte Carlo -menetelmä: Tämä menetelmä yrittää välttää satunnaista kävelyä ottamalla käyttöön ylimääräisen "vauhtivektorin" ja soveltamalla Hamiltonin dynamiikkaa, jossa potentiaalinen energiafunktio  on tavoitetiheys. Hetkinäytteet hylätään näytteenoton jälkeen. Algoritmin lopputuloksena on, että liike näyteavaruuden läpi tapahtuu suurissa portaissa. Siten ne korreloivat vähemmän ja konvergoivat kohdejakaumaan nopeammin.

Vuorovaikutteisten hiukkasten menetelmät

Vuorovaikutteiset MSMS-metodologiat ovat luokka keskimääräisiä hiukkasmenetelmiä, joilla saadaan näytteitä näennäissatunnaisista luvuista todennäköisyysjakaumien sarjasta, jossa näytteenoton monimutkaisuus kasvaa [13] .

Nämä todennäköisyysmallit sisältävät:

• polkuavaruuden tilamallit kasvavalla aikahorisontilla
• posterioriset (osittaishavaintojen osalta) jakaumat
• ehdollisten jakaumien rajoitusten lisääntyminen
• Boltzmann-Gibbsin jakaumiin liittyvät laskevat lämpötilakäyrät
• ja paljon enemmän

Yleensä mistä tahansa MCMC-näytteenottimesta voidaan tehdä interaktiivisia. Näitä puolestaan ​​voidaan käyttää tapana ajaa säännöllisten näytteenottolaitteiden sarja rinnakkain. Esimerkiksi interaktiiviset simulointihehkutusalgoritmit perustuvat itsenäisiin Metropolis-Hastingsin liikkeisiin, jotka vuorovaikuttavat peräkkäin valikoivan uudelleennäytteenottomekanismin kanssa. Toisin kuin klassisissa MCMC-menetelmissä, tässä interaktiivisten näytteenottolaitteiden tarkkuusparametri riippuu vain niiden lukumäärästä. Vuorovaikutteiset hiukkasmenetelmät kuuluvat Feynman-Katzin hiukkasmallien luokkaan [14] [15] , jota kutsutaan Bayesin päättelyteoriassa ja signaalinkäsittelyssä myös "peräkkäisiksi Monte Carloksi" tai "hiukkassuodatusmenetelmiksi" [16] . Vuorovaikutteiset MSMS-menetelmät voidaan ymmärtää myös geneettisen hiukkasalgoritmin sykleinä, joissa on mutaatioita klassisten MSMS-mutaatioiden muodossa.

Markov Chain Quasi-Monte Carlo (MCQMC) [17] [18]

Pienten eroavaisuuksien käytöllä satunnaislukujen sijasta yksinkertaisessa riippumattomassa Monte Carlo -näytteenotossa on selviä etuja [19] . Tällaista korvaamista käytetään kvasi-Monte Carlo ( QMC ) -menetelmässä [20] . Coxma-Hlavka-epäyhtälön mukaan tässä menetelmässä integrointivirhe on paljon pienempi kuin otostettaessa riippumattomia identtisesti jakautuneita satunnaismuuttujia (IID). Tämä mahdollistaa sekä estimointivirheen että konvergenssiajan pienentämisen suuruusluokkaa.

Array-RQMC-menetelmä ottaa käyttöön QMC-pohjaisen Markov-ketjumallinnuksen simuloimalla ketjuja samanaikaisesti. Kussakin vaiheessa näiden tilojen empiirinen jakauma antaa tarkemman approksimation jakautumisfunktiolle kuin käytettäessä MCMC:tä [21] . Empiirisissa kokeissa keskimääräisen tilafunktion varianssin konvergenssilla on joskus luokkaa tai jopa nopeampi nopeus kuin Monte Carlon menetelmässä [22] .

Lähentyminen

Markov-ketjun rakentaminen vaadituilla ominaisuuksilla ei yleensä ole vaikeaa. On vaikeampi määrittää, kuinka monta askelta tarvitaan konvergoimaan stationaariseen jakaumaan, jossa on hyväksyttävä virhe [23] . Hyvällä ketjulla on sekoitusominaisuus: kiinteä jakelu saavutetaan nopeasti mihin tahansa aloitusasentoon. Klassinen empiirinen menetelmä konvergenssin saavuttamiseksi on ajaa useita itsenäisesti mallinnettuja Markov-ketjuja ja tarkistaa, että varianssit ketjun ulkopuolella ja sisällä ovat suunnilleen yhtä suuret [23] [24] .

Tyypillisesti MCMC-näytteenotto voi vain arvioida kohdejakaumaa, koska lähtöpaikalla on aina jäännösvaikutus. Monimutkaisemmat MCMC-pohjaiset algoritmit, kuten kytkentä menneisyydestä, voivat vastaanottaa tarkkoja näytteitä, mikä vaikuttaa laskelmien määrään ja käytettyyn aikaan.

Monet Monte Carlon satunnaiskävelymenetelmät liikkuvat pienin askelin, alkaen tasapainojakaumasta, jolla ei ole taipumusta polttaa yhteen suuntaan. Näitä menetelmiä on helppo soveltaa ja analysoida, mutta koko tilan tutkiminen kävelyllä vie kauan (vaeltaminen palaa usein jo läpikäydyille alueille).

Muita konvergenssinäkökohtia sisältyy Markovin ketjujen keskirajalauseeseen, katso [25] , jossa käsitellään Metropolis-Hastings-algoritmin konvergenssiin ja stationaarisuuteen liittyvää teoriaa.

Ohjelmisto

Ohjelmisto MSMS-näytteenottoa varten:

• paketit, jotka käyttävät BUGS-mallikielen murteita
  • WinBUGS / OpenBUGS / MultiBUGS
  • JAGS
  • KETTERÄ
• greta , bayesilainen tilastollinen mallinnuskieli
• MCSim
• PyMC3
• pymcmcstat
• R (ohjelmointikieli) ja adaptMCMC, atmcmc, BRugs, mcmc, MCMCpack, ramcmc, rjags, rstan jne.
• Stan
• TensorFlow Probability ( TensorFlow'hun sisäänrakennettu todennäköisyyspohjainen ohjelmointikirjasto )
• MCL (klusterialgoritmi kaavioille ja HipMCL (vaihtoehtoinen versio)) [26]
• emcee ( affine invariantti MCMC ensemble samplerin Python - toteutus )
• Keanu Java -kirjasto monikäyttöiseen todennäköisyyslaskentaan
• Zeus -toteutus Layered Ensemble Sampling Pythonissa
• Turing.jl- paketti monikäyttöiseen todennäköisyyslaskentaan Juliassa
• Mamba.jl- kehys msms-menetelmälle Juliassa

Muistiinpanot

Lainaukset

1. ↑ Kasim, M.F.; Bott, A.F.A.; Tzeferacos, P.; lammas, DQ; Gregori, G.; Vinko, SM Kenttien haku protoniradiografiasta ilman lähdeprofiileja  (englanniksi)  // Physical Review E  : journal. - 2019. - syyskuu ( osa 100 ). - doi : 10.1103/PhysRevE.100.033208 . - arXiv : 1905.12934 .
2. ↑ Gupta, Ankur; Rawlings, James B. Parametrien arviointimenetelmien vertailu stokastisissa kemiallisissa kineettisissa malleissa: Esimerkkejä järjestelmäbiologiasta  //  AIChE Journal : Journal. - 2014. - huhtikuu ( osa 60 , nro 4 ). - s. 1253-1268 . - doi : 10.1002/aic.14409 . — PMID 27429455 .
3. ↑ Katso Gill 2008.
4. ↑ Katso Robert & Casella 2004.
5. ↑ Banerjee, Sudipto; Carlin, Bradley P.; Gelfand, Alan P. Hierarchical Modeling and Analysis for Spatial Data  . — Toiseksi. - CRC Press , 2014. - P. xix. — ISBN 978-1-4398-1917-3 .
6. ↑ Gilks, WR; Wild, P. Adaptive Rejection Sampling for Gibbs Sampling  //  Journal of the Royal Statistical Society. C-sarja (soveltuvat tilastot) : päiväkirja. - 1992. - 1. tammikuuta ( osa 41 , nro 2 ) . - s. 337-348 . - doi : 10.2307/2347565 . — .
7. ↑ Gilks, WR; Parasta, NG; Tan, KKC Adaptive Rejection Metropolis Sampling sisällä Gibbs Sampling  //  Journal of the Royal Statistical Society. C-sarja (soveltuvat tilastot) : päiväkirja. - 1995. - 1. tammikuuta ( nide 44 , nro 4 ). - s. 455-472 . - doi : 10.2307/2986138 . — .
8. ↑ Martino, L.; Lue, J.; Luengo, D. Riippumaton kaksinkertaisesti mukautuva hylkäys Metropolis-näytteenotto Gibbs-näytteenotossa  // IEEE  Transactions on Signal Processing : päiväkirja. - 2015. - 1. kesäkuuta ( nide 63 , nro 12 ). - s. 3123-3138 . — ISSN 1053-587X . - doi : 10.1109/TSP.2015.2420537 . - . - arXiv : 1205.5494 .
9. ↑ Katso Stramer 1999.
10. ↑ Liu, Jun S.; Liang, Faming; Wong, Wing Hung. Multiple-Try Method and Local Optimization in Metropolis Sampling  //  Journal of the American Statistical Association  : Journal. - 2000. - 1. maaliskuuta ( nide 95 , nro 449 ). - s. 121-134 . — ISSN 0162-1459 . - doi : 10.1080/01621459.2000.10473908 .
11. ↑ Martino, Luca; Lue, Jesse. Useiden kokeilevien Metropolis-järjestelmien suunnittelun joustavuudesta  //  Computational Statistics : päiväkirja. - 2013. - 11. heinäkuuta ( nide 28 , nro 6 ). - P. 2797-2823 . — ISSN 0943-4062 . - doi : 10.1007/s00180-013-0429-2 . - arXiv : 1201.0646 .
12. ↑ Katso Green 1995.
13. ↑ Del Moral, Pierre. Keskimääräinen kenttäsimulaatio Monte Carlo -integraatiolle  . - Chapman & Hall/CRC Press, 2013. - S. 626. . - Monografiat tilastoista ja sovelletusta todennäköisyydestä.
14. ↑ Del Moral, Pierre. Feynman-Kacin kaava. Genealogiset ja vuorovaikuttavat hiukkasten  approksimaatiot . - Springer, 2004. - s. 575. . - "Sarja: Todennäköisyys ja sovellukset".
15. ↑ Del Moral, Pierre; Miclo, Laurent. Séminaire de Probabilités XXXIV / Jacques Azéma, Michel Ledoux, Michel Émery, Marc Yor. - 2000. - T. 1729. - S. 1-145. — (Matematiikan luentomuistiinpanot). — ISBN 978-3-540-67314-9 . - doi : 10.1007/bfb0103798 .
16. ↑ Del Moral, Pierre. Peräkkäiset Monte Carlon näytteenottimet - P. Del Moral - A. Doucet - A. Jasra - 2006 - Royal Statistical Societyn lehti: B-sarja (tilastollinen metodologia) - Wiley Online Library  (englanniksi)  // Royal Statistical Societyn lehti. Sarja B (tilastollinen metodologia) : päiväkirja. - 2006. - Voi. 68 , no. 3 . - s. 411-436 . doi : 10.1111 / j.1467-9868.2006.00553.x . - arXiv : cond-mat/0212648 .
17. ↑ Chen, S.; Dick, Joseph; Owen, Art B. Markov-ketjun kvasi-Monte Carlon johdonmukaisuus jatkuvilla tilaavaruuksilla  (englanniksi)  // Annals of Statistics : päiväkirja. - 2011. - Voi. 39 , ei. 2 . - s. 673-701 . - doi : 10.1214/10-AOS831 .
18. ↑ Tribble, Seth D. (2007). Markovin ketju Monte Carlo -algoritmit, joissa käytetään täysin tasaisesti jakautuneita ajojaksoja (diss.). Stanfordin yliopisto. Malli: ProQuest .
19. ↑ Papageorgiou, Anargyros; Traub, JF Voittaa Monte Carlon // Riski. - 1996. - T. 9 , nro 6 . - S. 63-65 .
20. ↑ Sobol, Ilya M. Kvasi-Monte Carlo -integraatioista // Mathematics and Computers in Simulation. - 1998. - T. 47 , nro 2 . - S. 103-112 . - doi : 10.1016/s0378-4754(98)00096-2 .
21. ↑ L'Ecuyer, P.; Lecot, C.; Tuffin, B. Satunnaistettu kvasi-Monte Carlo -simulaatiomenetelmä Markovin  ketjuille  // Operaatiotutkimus : päiväkirja. - 2008. - Voi. 56 , nro. 4 . - s. 958-975 . doi : 10.1287 / opre.1080.0556 .
22. ↑ L'Ecuyer, P.; Munger, D.; Lecot, C.; Tuffin, B. Array-RQMC:n lajittelumenetelmät ja lähentymisnopeudet: Jotkut empiiriset vertailut  //  Mathematics and Computers in Simulation : Journal. - 2018. - Vol. 143 . - s. 191-201 . - doi : 10.1016/j.matcom.2016.07.010 .
23. ↑ 1 2 Gelman, A.; Rubin, DB Päätelmä iteratiivisesta simulaatiosta useiden sekvenssien avulla (keskustelun kanssa  )  // Tilastotiede : päiväkirja. - 1992. - Voi. 7 , ei. 4 . - s. 457-511 . - doi : 10.1214/ss/1177011136 . - .
24. ↑ Cowles, M.K.; Carlin, BP Markov-ketju Monte Carlon konvergenssidiagnostiikka: vertaileva katsaus  //  Journal of the American Statistical Association  : Journal. - 1996. - Voi. 91 , ei. 434 . - s. 883-904 . - doi : 10.1080/01621459.1996.10476956 .
25. ↑ Hill, SD; Spall, JC Stationarity and Convergence of the Metropoli-Hastings Algorithm: Insights into Theoretical Aspects  //  IEEE Control Systems Magazine : aikakauslehti. - 2019. - Vol. 39 , ei. 1 . - s. 56-67 . - doi : 10.1109/MCS.2018.2876959 .
26. ↑ Azad, A; Pavlopoulos, G.A.; Ouzounis, CA; Kyrpides, N.C.; Buluç, A. HipMCL: Markovin klusterointialgoritmin tehokas rinnakkaistoteutus suuria verkkoja varten  //  Nucleic Acids Research : päiväkirja. - 2018. - 6. huhtikuuta ( nide 46 , nro 6 ). -P.e33 . _ doi : 10.1093 / nar/gkx1313 . — PMID 29315405 .

Lähteet

• Christophe Andrieu, Nando De Freitas, Arnaud Doucet ja Michael I. Jordan Johdanto MCMC:hen koneoppimiseen , 2003
• Asmussen, Soren; Glynn, Peter W. Stokastinen simulointi: Algoritmit ja  analyysi . - Springer, 2007. - Voi. 57. - (Stokastinen mallinnus ja sovellettu todennäköisyys).
• Atzberger, P. Johdatus Monte-Carlo-menetelmiin (linkki ei ole käytettävissä) . Haettu 4. toukokuuta 2020. Arkistoitu alkuperäisestä 20. helmikuuta 2009. (määrätön) 
• Berg, Bernd A. Markov Ketju Monte Carlo -simulaatiot ja niiden tilastollinen analyysi  . – World Scientific , 2004.
• Bolstad, William M. Understanding Computational Bayesian Statistics  . - Wiley, 2010. - ISBN 978-0-470-04609-8 .
• Casella, George; George, Edward I. Gibbsin näytteenottimen selittäminen // Amerikan tilastotieteilijä. - 1992. - T. 46 , nro 3 . - S. 167-174 . - doi : 10.2307/2685208 . — .
• Gelfand, AE; Smith, AFM: n näytteenottoon perustuvat lähestymistavat marginaalitiheysten laskemiseen  //  Journal of the American Statistical Association  : Journal. - 1990. - Voi. 85 , no. 410 . - s. 398-409 . - doi : 10.1080/01621459.1990.10476213 .
• Gelman, Andrew; Carlin, John B.; Stern, Hal S.; Rubin, Donald B. Bayesian Data Analysis. – 1. - Chapman & Hall , 1995. (Katso luku 11.)
• Geman, S.; Geman, D. Stochastic Relaxation, Gibbs Distributions, and the Bayesian Restoration of Images  // IEEE Transactions on Pattern Analysis and Machine  Intelligence : päiväkirja. - 1984. - Voi. 6 , ei. 6 . - s. 721-741 . - doi : 10.1109/TPAMI.1984.4767596 .
• Gilks, W. R.; Richardson, S.; Spiegelhalter, DJ Markov -ketju Monte Carlo käytännössä. - Chapman & Hall / CRC, 1996.
• Gill, Jeff. Bayesin menetelmät: yhteiskunta- ja käyttäytymistieteellinen  lähestymistapa . – 2. - Chapman & Hall / CRC, 2008. - ISBN 978-1-58488-562-7 .
• Green, PJ Käännettävä hyppy Markov-ketju Monte Carlo -laskenta ja Bayesin mallin määritys  (englanniksi)  // Biometrika  : Journal. - 1995. - Voi. 82 , no. 4 . - s. 711-732 . - doi : 10.1093/biomet/82.4.711 .
• Neal, Radford M. Slice Sampling // Annals of Statistics. - 2003. - T. 31 , nro 3 . - S. 705-767 . - doi : 10.1214/aos/1056562461 . — .
• Neal, Radford M. Todennäköisyyspohjainen päättely käyttämällä Markov-ketjun Monte Carlo -menetelmiä (1993). (määrätön)
• Robert, Christian P.; Casella, G. Monte Carlo Statistical Methods . – 2. - Springer, 2004. - ISBN 978-0-387-21239-5 .
• Rubinstein, R.Y.; Kroese, D.P.Simulaatio ja Monte Carlo -menetelmä. – 2. - Wiley , 2007. - ISBN 978-0-470-17794-5 .
• Smith, RL Tehokkaat Monte Carlon menetelmät rajatuille alueille tasaisesti jakautuneiden pisteiden  luomiseksi  // Operaatiotutkimus : päiväkirja. - 1984. - Voi. 32 , ei. 6 . - s. 1296-1308 . doi : 10.1287 / opre.32.6.1296 .
• Spall, JC arvio Markov Chain Monte Carlon kautta // IEEE Control Systems Magazine. - 2003. - huhtikuu ( osa 23 , nro 2 ). - S. 34-45 . - doi : 10.1109/mcs.2003.1188770 .
• Stramer, O.; Tweedie, R. Langevin-tyyppiset mallit II: Itsekohdistuvia ehdokkaita MCMC-algoritmeille  //  Methodology and Computing in Applied Probability : Journal. - 1999. - Voi. 1 , ei. 3 . - s. 307-328 . - doi : 10.1023/A:1010090512027 .

Kirjallisuus

• Diaconis, Persi. Markovin ketju Monte Carlon vallankumous  // Bulletin of the American Mathematical Society  . - 2009. - huhtikuu ( osa 46 , nro 2 ) - s. 179-205 . - doi : 10.1090/s0273-0979-08-01238-x .
• Press, W.H.; Teukolsky, SA; Vetterling, WT & Flannery, BP (2007), jakso 15.8. Markov Chain Monte Carlo , Numerical Recipes: The Art of Scientific Computing (3. painos), Cambridge University Press , ISBN 978-0-521-88068-8 
• Richey, Matthew. Markovin ketjun Monte Carlo -menetelmien kehitys  //  The American Mathematical Monthly . - 2010. - toukokuu ( osa 117 , nro 5 ) - s. 383-413 . doi : 10.4169 / 000298910x485923 .

Linkit

• MCMC-näytteenotto ja muut menetelmät peruskatsauksessa , kirjoittaja Alexander Mantzaris ( alkuperäinen linkki – nyt rikki ).
• PyMC  - Python-moduuli, joka toteuttaa Bayesin tilastollisia malleja ja sovitusalgoritmeja, mukaan lukien Markov-ketju Monte Carlo.
• IA2RMS on Matlab-koodi "Independent Duubly Adaptive Rejection Metropolis Sampling" -menetelmästä, Martino, Read & Luengo (2015 ), täysehdollisten tiheysten ottamiseksi Gibbs-näytteenottimessa.