Bayesin todennäköisyys

Bayesin todennäköisyys on tulkinta Bayesin teoriassa käytetystä todennäköisyyden käsitteestä. Todennäköisyys määritellään luottamuksen asteena väitteen totuuteen . Bayesin teoria käyttää Bayesin lausetta määrittämään luottamuksen asteen tuomion totuuteen uutta tietoa vastaanotettaessa .

Historia

Bayesin teoria ja Bayesin todennäköisyys on nimetty Thomas Bayesin (1702–1761) mukaan, joka osoitti erityistapauksen lauseesta, jota nykyään kutsutaan Bayesin lauseeksi . Termi "bayesilainen" otettiin käyttöön noin vuonna 1950 , ja suurin osa siitä, mitä nykyään kutsutaan "bayesialaiseksi", ei liity suoraan Bayesiin. Laplace osoitti yleisemmän tapauksen Bayesin lauseesta ja käytti sitä ratkaisemaan ongelmia taivaanmekaniikan ja lääketieteen tilastoissa. Laplace ei kuitenkaan pitänyt tätä lausetta tärkeänä todennäköisyysteorian kehityksen kannalta. Hän noudatti klassista todennäköisyyden määritelmää .

Frank Ramsey kirjassaan The Foundations of Mathematics (1931) esitti ensimmäisenä ajatuksen subjektiivisen varmuuden käyttämisestä todennäköisyyden määrittämiseen. Ramsey ehdotti tätä määritelmää lisäyksenä tuolloin kehittyneempään taajuusmääritykseen . Tilastotieteilijä Bruno de Finetti sovelsi Ramseyn ideoita vuonna 1937 vaihtoehtona taajuuden määrittämiselle. Leonard Savage laajensi tätä ajatusta teoksessa The Foundations of Statistics (1954).

"Varmuuden asteen" intuitiivista käsitettä on yritetty määritellä muodollisesti. Yleisin määritelmä perustuu vedonlyöntiin : varmuuden aste heijastuu panoksen määrällä, jonka olet valmis lyömään vetoa siitä, että ehdotus on totta.

Vaihtoehdot

Todennäköisyyden Bayesin tulkinnan vaihtelut: subjektiivinen todennäköisyys ja looginen todennäköisyys .

Suhde taajuuden todennäköisyyteen

Bayesin todennäköisyys verrataan frekvenssitodennäköisyyteen , jossa todennäköisyys määräytyy satunnaisen tapahtuman suhteellisella esiintymistiheydellä riittävän pitkien havaintojen aikana.

Matemaattiset tilastot , jotka perustuvat frekvenssin todennäköisyyteen , kehittivät R. A. Fisher , E. Pearson ja E. Neumann 1900-luvun ensimmäisellä puoliskolla. A. Kolmogorov käytti myös taajuustulkintaa kuvaillessaan Lebesguen integraaliin perustuvaa aksiomatiikkaansa .

Ero Bayesin ja taajuustulkinnan välillä on tärkeä rooli käytännön tilastoissa. Esimerkiksi kun verrataan kahta hypoteesia samoilla tiedoilla, tilastollisen hypoteesitestauksen teoria , joka perustuu frekvenssitulkintaan, antaa mahdollisuuden hylätä tai olla hylkäämättä hypoteesimalleja. Samalla riittävä malli voidaan hylätä, koska toinen malli näyttää näillä tiedoilla sopivammalta. Bayesin menetelmät päinvastoin antavat lähtötiedoista riippuen posteriorisen todennäköisyyden olla riittävä kullekin hypoteesille.

Sovellus

1950-luvulta lähtien Bayesin teoriaa ja Bayesin todennäköisyyttä on sovellettu laajalti esimerkiksi Coxin lauseen ja maksimientropian periaatteen kautta . Useille[ mitä? ] -ongelmia, Bayesin menetelmät antavat parempia tuloksia kuin taajuustodennäköisyyteen perustuvat menetelmät .

Bayesin teoriaa käytetään menetelmänä mukauttaa olemassa olevia todennäköisyyksiä uusiin kokeellisiin tietoihin.

Bayesilaista teoriaa käytetään älykkäiden suodattimien rakentamiseen, joita käytetään esimerkiksi roskapostin suodattamiseen .

Todennäköisyyksien todennäköisyydet

Bayesin todennäköisyyden käyttöön liittyvä epämiellyttävä yksityiskohta on se, että todennäköisyyden määrittäminen ei riitä sen luonteen ymmärtämiseksi. Harkitse seuraavia tilanteita:

Sinulla on laatikko mustia ja valkoisia palloja, eikä niiden lukumäärästä ole tietoa.
Sinulla on laatikko mustavalkoisia palloja. Vedit satunnaisesti palloja, tasan puolet niistä osoittautui mustiksi. $n$
Sinulla on laatikko mustavalkoisia palloja ja tiedät, että tarkalleen puolet niistä on mustia.

Bayesin todennäköisyys "vetää seuraava musta pallo" kussakin näistä tapauksista on 0,5. Keynes kutsui tätä "varmuuden asteen" ongelmaksi. Tämä ongelma voidaan ratkaista ottamalla käyttöön todennäköisyyden todennäköisyys (kutsutaan metatodennäköisyydeksi ).

1. Oletetaan, että sinulla on laatikko mustavalkoisia palloja, eikä sinulla ole tietoa siitä, kuinka monta minkä väristä palloa siinä on. Olkoon - tämä on väite, että todennäköisyys piirtää seuraavaksi musta pallo on , jolloin todennäköisyysjakauma on beta-jakauma :

\theta=p

s

\forall \theta \in [0,1]

f(\theta )=\mathrm {B} (\alpha _{B}=1,\alpha _{W}=1)={\frac {\Gamma (\alpha _{B}+\alpha _{W})}{\Gamma (\alpha _{B})\cdot \Gamma (\alpha _{W})}}\theta ^{\alpha _{B}-1}(1-\theta ) ^{\alpha _{W}-1}={\frac {\Gamma (2)}{\Gamma (1)\cdot \Gamma (1)))\theta ^{0}(1-\theta )^ {0}[=1

Olettaen, että pallon vedot ovat riippumattomia ja yhtä todennäköisiä, todennäköisyysjakauma m mustaa palloa ja n valkoista palloa piirtämisen jälkeen on myös beta-jakauma parametrein , .

P(\theta \mid m,n)

\alpha _{B}=1+m

\alpha _{W}=1+n

2. Oletetaan, että olet piirtänyt palloja laatikosta , joista puolet osoittautui mustiksi ja loput valkoisiksi. Tässä tapauksessa todennäköisyysjakauma on beta-jakauma . Suurin jälkikäteen odotus on .

n

\theta=p

\mathrm {B} \left({\frac {n}{2}}+1,{\frac {n}{2}}+1\right)

\theta

\theta _{MAP}={\frac ({\frac {n}{2}}+1}{n+2}}=0{,}5

3. Tiedät, että tasan puolet palloista on mustia ja loput valkoisia. Tässä tapauksessa todennäköisyys on 0,5 todennäköisyydellä 1: .

f(\theta )=\delta (\theta -0{,}5)

Katso myös

Linkit

Computerworld QuickStudy: Bayesin logiikka ja suodattimet
International Society for Bayesian Analysis Arkistoitu 21. syyskuuta 2021 Wayback Machinessa Bayesin analyysin yksinkertaisempi selitys
Online-oppikirja: Information Theory, Inference, and Learning Algorithms Arkistoitu 17. helmikuuta 2016 Wayback Machinessa , kirjoittanut David MacKay, sisältää useita lukuja Bayesin menetelmistä, mukaan lukien johdantoesimerkit; argumentit Bayesin menetelmien puolesta ( Edwin Jaynesin tyyliin ); huippuluokan Monte Carlo - menetelmät , viestinvälitysmenetelmät ja variaatiomenetelmät ; ja esimerkkejä, jotka havainnollistavat bayesilaisen päättelyn ja tietojen pakkaamisen välisiä läheisiä yhteyksiä .
Mukava online-opastus Bayesin todennäköisyyteen Arkistoitu 4. toukokuuta 2009 Lontoon Queen Mary -yliopiston Wayback Machinessa
Bayesilaisen päättelyn intuitiivinen selitys Eliezer Yudkowskyn erittäin lempeä johdanto
Jaynes, ET (1998) Probability Theory: The Logic of Science Arkistoitu 8. marraskuuta 2020 Wayback Machinessa .
Bretthorst, G. Larry, 1988, Bayesian Spectrum Analysis and Parameter Estimation Arkistoitu 14. toukokuuta 2011 Wayback Machine in Lecture Notes in Statistics, 48, Springer-Verlag, New York, New York;
http://www-groups.dcs.st-andrews.ac.uk/history/Mathematicians/Ramsey.html Arkistoitu 9. kesäkuuta 2019 Wayback Machinessa
David Howie: Todennäköisyyksien, ristiriitojen ja kehityksen tulkinta 2000-luvun alussa , Cambridge University Press, 2002, ISBN 0-521-81251-8
Colin Howson ja Peter Urbach: Scientific Reasoning: The Bayesian Approach , Open Court Publishing, 2. painos, 1993, ISBN 0-8126-9235-7 , keskittyy bayesilaisen ja usein esiintyvien tilastojen filosofisiin perusteisiin. Puolustaa todennäköisyyden subjektiivista tulkintaa.
Luc Bovens ja Stephan Hartmann: Bayesian epistemology . Oxford: Oxford University Press 2003. Laajentaa Bayesin ohjelman monimutkaisempiin päätösskenaarioihin (esim. riippuvaiset ja osittain luotettavat todistajat ja mittauslaitteet) käyttämällä Bayesian Network -malleja. Kirja myös todistaa mahdottomuuslauseen koherenssijärjestykseen tietojoukkojen yli ja tarjoaa toimenpiteen, joka saa aikaan osittaisen koherenssijärjestyksen.
Jeff Miller "Varhaisimmat tunnetut matematiikan sanojen käyttötavat (B)"
James Franklin The Science of Conjecture: Evidence and Probability Before Pascal Arkistoitu 7. helmikuuta 2008 Wayback Machinessa , historiaa bayesialaisesta näkökulmasta.
Paul Graham "Bayesian roskapostin suodatus" Arkistoitu 21. kesäkuuta 2010 Wayback Machinessa
novomind AG "Bayesilaiseen suodatukseen perustuva Outlook-kategorisointityökalu"
Howard Raiffa -päätösanalyysi : johdantoluennot valinnoista epävarmuuden alaisena . McGraw Hill, College Custom -sarja. (1997) ISBN 0-07-052579-X
Devender Sivia, Data Analysis: A Bayesian Tutorial . Oxford: Clarendon Press (1996), ss. 7–8. ISBN 0-19-851889-7
Henk Tijms: Understanding Probability , Cambridge University Press, 2004
Onko Thomas Bayesin muotokuva aito? Kuka tämä herrasmies on? Milloin ja missä hän syntyi? Arkistoitu 21. lokakuuta 2017 Wayback Machinessa The IMS Bulletin , Vol. 17 (1988), nro. 3, s. 276-278
Bayesian roskapostisuodatin arkistoitu 28. helmikuuta 2021 Wayback Machine for Microsoft Outlookiin
Kysy Scientific Americanin Bayesin lauseen asiantuntijoilta
Tilastotyöntekijöiden keskuudessa käydään jatkuvaa keskustelua todennäköisyyden oikeasta määritelmästä. [1] Arkistoitu 30. kesäkuuta 2007 Wayback Machinessa