Bayesin kerroin

Bayesin kerroin  on bayesilainen vaihtoehto tilastolliselle hypoteesitestaukselle [1] [2] . Bayesian Model Comparison  on menetelmä mallien valitsemiseksi Bayes-kertoimien perusteella. Käsitellyt mallit ovat tilastollisia malleja [3] . Bayes-kertoimen tarkoituksena on kvantifioida mallin tuki toiseen malliin nähden, olivatpa mallit oikeita vai eivät [4] . "Tuen" tekninen määritelmä Bayesin päättelyn yhteydessä on annettu alla.

Määritelmä

Bayes-kerroin on kahden hypoteesin, tavallisesti nollahypoteesin ja vaihtoehdon , marginaalisen todennäköisyyden todennäköisyyssuhde [ 5] .

Datan D antaman mallin M posteriori todennäköisyys saadaan Bayesin lauseella :

Avaintietoriippuvainen termi on mallin M todennäköisyys tietyllä tiedolla D , ja se edustaa todennäköisyyttä, että osa tiedoista saadaan, jos malli M hyväksytään . Tämän termin oikea laskeminen on avain bayesialaiseen mallien vertailuun.

Kun otetaan huomioon mallinvalintaongelma , jossa meidän on valittava kahden mallin välillä havaitun datan D perusteella, kahden eri mallin M 1 ja M 2 suhteellinen todennäköisyys parametrivektorien ja parametrien avulla saadaan Bayesin kertoimella K , joka määritellään seuraavasti:

Jos kaksi mallia ovat a priori yhtä todennäköisiä, niin Bayes-kerroin on yhtä suuri kuin mallien M 1 ja M 2 posteriorien todennäköisyyksien suhde . Jos Bayesin kerroinintegraalin sijaan käytetään kunkin tilastomallin parametrin maksimitodennäköisyysestimaattia vastaavaa todennäköisyyttä , niin testistä tulee klassinen todennäköisyyssuhdetesti . Toisin kuin todennäköisyyssuhdetestissä, Bayesin mallin vertailu ei riipu mistään tietystä parametrijoukosta, koska se lasketaan integroimalla jokaisen mallin kaikki parametrit (ottaen huomioon aikaisemmat todennäköisyydet ). Bayes-kertoimien käytön etuna on kuitenkin se, että niihin sisältyy automaattisesti ja aivan luonnollisesti sakko mallirakenteen liiallisesta sisällyttämisestä [6] . Tämä suojaa ylikuntoutumiselta . Malleissa, joissa todennäköisyysfunktion eksplisiittistä muotoa ei tunneta tai sen laskenta on liian kallista, Bayesin mallin valintaan voidaan käyttää likimääräisiä Bayesin laskelmia [7] , vaikka sen pitäisi olla Ottaen huomioon, että Bayesin kertoimien likimääräinen Bayes-estimaatti on usein puolueellinen [8] .

Muita lähestymistapoja:

• käsitellä vertailumallia päätösongelmana laskemalla kunkin mallivalinnan odotusarvo tai kustannukset;
• Käytä viestin minimipituuden periaatetta ( eng .  minimi message length , MML).

Tulkinta

Arvo K > 1 tarkoittaa, että aineisto tukee vahvemmin hypoteesia M 1 kuin hypoteesia M 2 . Huomaa, että klassinen tilastollinen hypoteesitestaus käyttää oletuksena yhtä hypoteesia (tai mallia) (" nollahypoteesi ") ja ottaa huomioon vain todisteet sitä vastaan . Harold Jeffries antaa taulukon saadun K :n arvon tulkitsemiseksi [9] :

Toisessa sarakkeessa annetaan vastaavat tukipainot desihartlin yksiköissä (tunnetaan myös nimellä decibans ), kolmanteen sarakkeeseen selvyyden vuoksi lisätyt bitit . I. J. Goodin mukaan ihmiset arkielämässä pystyvät tuskin kohtuudella arvioimaan eroa luottamuksen asteessa hypoteesiin, joka vastaa painon muutosta 1 desibanilla tai 1/3 bitillä (esimerkiksi tulossuhde 4:5 9:ssä). kokeet kahdella mahdollisella tuloksella) [10] .

Kass ja Raftery (1995) [6] ovat ehdottaneet vaihtoehtoista laajalti siteerattua taulukkoa :

Bayesin kertoimien tai klassisen tilastollisen hypoteesitestauksen käyttö tapahtuu päättelyn yhteydessä , ei päätöksenteon yhteydessä epävarmuuden alaisena . Toisin sanoen haluamme vain selvittää, mikä hypoteesi on oikea, sen sijaan, että tekisimme todellista päätöstä näiden tietojen perusteella. Taajuustilastot tekevät tiukan eron näiden kahden lähestymistavan välillä, koska klassiset hypoteesien testausmenetelmät eivät ole koherentteja bayesialaisessa mielessä. Bayesin menetelmät, mukaan lukien Bayes-kertoimet, ovat koherentteja, joten tätä eroa ei tarvitse tehdä. Päättelyä pidetään sitten yksinkertaisesti epävarmuuden alaisen päätöksenteon erikoistapauksena, jossa viimeinen toimenpide on arvon palauttaminen. Päätöksenteossa bayesilaista lähestymistapaa käyttävät tilastotieteilijät voivat käyttää Bayes-kerrointa yhdessä ennakkojakauman ja häviöfunktion kanssa . Tuloksen yhteydessä häviöfunktio on tuloksen laskentasäännön muodossa . Esimerkiksi logaritmisen pisteytyssäännön käyttäminen johtaa odotettuun hyötyyn , joka on Kullback-Leibler-divergenssin muoto .

Esimerkki

Oletetaan, että meillä on satunnaismuuttuja , joka ottaa joko onnistumisen tai epäonnistumisen. Haluamme verrata mallia M 1 , jossa onnistumisen todennäköisyys on q = ½ , ja toista mallia M 2 , jossa q :n arvoa ei tunneta, ja otamme q : n aikaisemmaksi jakaumaksi tasaisen jakauman kohdassa [0,1 ]. Teemme 200 koetta ja saamme 115 onnistumista ja 85 epäonnistumista. Todennäköisyys voidaan laskea binomijakauman mukaan :

Sitten meillä on hypoteesi M 1

kun taas M2 : lle

Näiden arvojen suhde on 1,197..., joten ero on "tuskin huomionarvoinen", vaikka valinta kallistuu hieman kohti M 1 :tä .

Näiden tilastollisten hypoteesien testaaminen frekvenssipäätelmän [ M 1 (jota pidetään tässä nollahypoteesina ) perusteella antaa täysin erilaisen tuloksen. Tällainen testi sanoo, että M1-hypoteesi tulee hylätä 5 %:n merkitsevyystasolla, koska todennäköisyys saada vähintään 115 onnistumista 200 kohteen otoksesta, kun q = ½ on 0,0200, ja kaksisuuntainen testi ääripään saaminen 115 tai enemmän antaa 0,0400. Huomaa, että 115 eroaa 100:sta yli kahdella standardipoikkeamalla . Näin ollen, vaikka taajuuspäätelmään perustuvan tilastollisen hypoteesin testaus tuottaa tilastollisen merkitsevyyden 5 %:n tasolla, Bayesin kerroin ei todennäköisesti hyväksy tätä äärimmäisenä tuloksena. Huomaa kuitenkin, että epähomogeeninen ennakkojakauma (esimerkiksi sellainen, joka heijastaa odotusta, että onnistumisten ja epäonnistumisten määrät ovat samaa suuruusluokkaa) voi johtaa Bayesin kertoimeen, joka on yhdenmukaisempi taajuuspäätelmien testauksen kanssa. .

Klassisessa todennäköisyyssuhdetestissä maksimitodennäköisyysestimaatti q : lle olisi 115 ⁄ 200 = 0,575 , mistä

(sen sijaan, että laskettaisiin kaikkien mahdollisten q :n keskiarvo ). Tämä antaa todennäköisyyssuhteeksi 0,1045 ja viittaa M 2 -hypoteesiin .

M 2 on monimutkaisempi malli kuin M 1 , koska siinä on vapaa parametri, jonka avulla voit kuvata tietoja johdonmukaisemmin. Bayes-kertoimien kyky ottaa tämä huomioon on syy siihen, miksi Bayesin johtopäätös esitetään teoreettisena perusteluna ja yleistyksenä Occamin partaveitsille , jossa tyypin I virheet vähenevät [11] .

Toisaalta nykyaikainen suhteellinen todennäköisyysmenetelmä ottaa huomioon vapaiden malliparametrien määrän, toisin kuin klassinen todennäköisyyssuhde. Suhteellisen todennäköisyyden menetelmää voidaan soveltaa seuraavasti. Mallissa M 1 on 0 parametria, ja siksi sen Akaike Information Criterion (AIC) -arvo on 2 · 0 − 2 ln 0,005956 ≈ 10,2467 . Mallissa M 2 on 1 parametri, ja siksi sen AIC-arvo on 2 · 1 − 2 ln 0,056991 ≈ 7,7297 . Siksi M 1 ei todennäköisesti minimoi tiedon menetystä kuin M 2 , noin kertoimella exp((7,7297 − 10,2467)/2) ≈ 0,284 kertaa. Siten M2 on hieman parempi, mutta M1 : tä ei voida hylätä.

Sovellus

• Bayesin kerrointa sovellettiin geenien dynaamisen ilmentymisen järjestämiseen q - arvon sijaan [12] .

Katso myös

• Akaike-tietokriteeri
• Likimääräiset Bayesin laskelmat
• Bayesin tietokriteeri
• Tietokriteeri keskiarvon neliöityjen poikkeamien summalle
• Lindleyn paradoksi
• Viestin vähimmäispituus
• Mallin valinta

• kerroinsuhde
• Suhteellinen riski

Muistiinpanot

1. ↑ Goodman (1), 1999 , s. 995–1004.
2. ↑ Goodman (2), 1999 , s. 1005–13.
3. ↑ Morey, Romeijn, Rouder, 2016 , s. 6–18.
4. ↑ Ly, Verhagen, Wagenmakers, 2016 , s. 19-32.
5. ↑ Hyvä, Hardin, 2012 , s. 129-131.
6. ↑ 1 2 Kass, Raftery, 1995 , s. 791.
7. ↑ Toni, Stumpf, 2009 , s. 104–10.
8. ↑ Robert, Cornuet, Marin, Pillai, 2011 , s. 15112–15117.
9. ↑ Jeffreys, 1961 , s. 432.
10. ↑ Hyvä, 1979 , s. 393-396.
11. ↑ Ockhamin partaveitsen teroitus bayesialaisella stropilla . Haettu 5. tammikuuta 2019. Arkistoitu alkuperäisestä 12. syyskuuta 2015. (määrätön)
12. ↑ Hajiramezanali, Dadaneh, Figueiredo, Sze, Zhou, Qian, 2018 .

Kirjallisuus

• Välitä näyttöön perustuvat lääketieteelliset tilastot. 1: P-arvon virhe  // Ann Intern Med. - 1999. - T. 130 , no. 12 . - doi : 10.7326/0003-4819-130-12-199906150-00008 . — PMID 10383371 .
• Välitä näyttöön perustuvat lääketieteelliset tilastot. 2: Bayes-tekijä  // Ann Intern Med. - 1999. - T. 130 , no. 12 . — S. 1005–13 . - doi : 10.7326/0003-4819-130-12-199906150-00019 . — PMID 10383350 .
• Richard D. Morey, Jan-Willem Romeijn, Jeffrey N. Rouder. Bayesin tekijöiden filosofia ja tilastollisen näytön kvantifiointi // Journal of Mathematical Psychology. - 2016. - T. 72 . - doi : 10.1016/j.jmp.2015.11.001 .
• Alexander Ly, Josine Verhagen, Eric-Jan Wagenmakers. Harold Jeffreysin oletusarvoiset Bayes-tekijähypoteesitestit: Selitys, laajennus ja sovellus psykologiassa // Journal of Mathematical Psychology. - 2016. - T. 72 . - S. 19-32 . - doi : 10.1016/j.jmp.2015.06.004 .
• Robert E. Kass, Adrian E. Raftery. Bayes Factors  // Journal of the American Statistical Association. - 1995. - T. 90 , nro 430 . - doi : 10.2307/2291091 .
• Toni T., Stumpf MPH Simulaatiopohjainen mallivalinta dynaamisille järjestelmille systeemi- ja populaatiobiologiassa  // Bioinformatics. - 2009. - T. 26 , no. 1 . - doi : 10.1093/bioinformatics/btp619 . - arXiv : 0911.1705 . — PMID 19880371 .
• Robert CP, Cornuet J., Marin J., Pillai NS Luottamuksen puute likimääräiseen Bayesin laskentamallin valintaan  // Proceedings of the National Academy of Sciences. - 2011. - T. 108 , no. 37 . - doi : 10.1073/pnas.1102900108 . - . — PMID 21876135 .
• Jeffreys H. Todennäköisyysteoria . – 3. – Oxford, 1961.
• Hyviä IJ -tutkimuksia todennäköisyys- ja tilastohistoriasta. XXXVII AM Turingin tilastotyö toisessa maailmansodassa // Biometrika . - 1979. - T. 66 , no. 2 . - doi : 10.1093/biomet/66.2.393 .
• Hajiramezanali E., Dadaneh SZ, Figueiredo P. d., Sze S., Zhou Z., Qian X. Differential Expression Analysis of Dynamical Sequencing Count Data with a Gamma Markov Chain . – 2018.
• Phillip Good, James Hardin. Yleisiä virheitä tilastoissa (ja niiden välttäminen). – 4. - Hoboken, New Jersey: John Wiley & Sons, Inc., 2012. - ISBN 978-1118294390 .
• Bernardo J., Smith A.F.M. Bayesin teoria. - John Wiley, 1994. - ISBN 0-471-92416-4 .
• Denison DGT, Holmes CC, Mallick BK, Smith AFM Bayesian menetelmät epälineaariseen luokitukseen ja regressioon. - John Wiley, 2002. - ISBN 0-471-49036-9 .
• Richard O. Duda, Peter E. Hart, David G. Stork. Kohta 9.6.5 // Kuvion luokitus. – 2. - Wiley, 2000. - S. 487-489. — ISBN 0-471-05669-3 .
• Gelman A., Carlin J., Stern H., Rubin D. Bayesian Data Analysis. — Lontoo: Chapman & Hall , 1995. — ISBN 0-412-03991-5 .
• Jaynes ET luku 24: MALLIEN VERTAILU JA ROBUSTUS // Todennäköisyysteoria: tieteen logiikka . – 1994.
• Lee PM Bayesian Statistics: johdanto. - Wiley, 2012. - ISBN 9781118332573 .
• Robert Winkler. Johdatus Bayesin päättelyyn ja päätökseen. – 2. - Todennäköisyyslaskenta, 2003. - ISBN 0-9647938-4-9 .

Linkki

• BayesFactor — R-paketti Bayes-tekijöiden laskemiseen yleisissä tutkimussuunnitelmissa
• Bayes Factor Calculators – verkkopohjainen versio suuresta osasta BayesFactor-pakettia