Bayesin verkko

Kokeneet kirjoittajat eivät ole vielä tarkistaneet sivun nykyistä versiota, ja se voi poiketa merkittävästi 29. joulukuuta 2021 tarkistetusta versiosta . tarkastukset vaativat 4 muokkausta .

Bayesin verkko (tai Bayesin verkko , Bayesin uskomusverkosto , Englanti Bayesin verkko, uskomusverkosto ) - kuvaaja todennäköisyysmalli , joka on joukko muuttujia ja niiden todennäköisyysriippuvuuksia Bayesin mukaan . Esimerkiksi Bayesin verkkoa voidaan käyttää laskemaan todennäköisyys, että potilaalla on sairaus oireiden olemassaolon tai puuttumisen perusteella oireiden ja sairauksien välistä suhdetta koskevien tietojen perusteella. Bayesin verkkojen matemaattisen laitteen loi amerikkalainen tiedemies Judah Pearl , Turing-palkinnon voittaja (2011).

Muodollisesti Bayesin verkko on suunnattu asyklinen graafi , jonka kukin huippu vastaa satunnaismuuttujaa, ja graafin kaaret koodaavat ehdollisia riippumattomuussuhteita näiden muuttujien välillä. Vertices voi edustaa minkä tahansa tyyppisiä muuttujia, olla painotettuja parametreja, piileviä muuttujia tai hypoteeseja. On olemassa tehokkaita menetelmiä, joita käytetään Bayesin verkkojen laskemiseen ja kouluttamiseen. Jos Bayesin verkkomuuttujat ovat diskreettejä satunnaismuuttujia, niin tällaista verkkoa kutsutaan diskreetiksi Bayesin verkkoksi. Bayesin verkkoja, jotka mallintavat muuttujien sekvenssejä, kutsutaan dynaamiksi Bayesin verkoiksi . Bayesin verkkoja, joissa voi olla sekä diskreettejä että jatkuvia muuttujia, kutsutaan Bayesin hybridiverkoiksi . Bayesin verkkoa, jossa kaaret ehdollisten riippumattomuussuhteiden lisäksi koodaavat myös kausaalisuussuhteita, kutsutaan kausaalisiksi bayesilaisiksi verkostoiksi [ 1 ] ) .

Määritelmät ja toimintaperiaatteet

Jos kaari kulkee kärjestä kärkeen , sitä kutsutaan yläpääksi ja lapsiksi . Jos kärjestä kärkeen on suunnattu polku , niin sitä kutsutaan esi-isäksi ja sitä kutsutaan jälkeläiseksi . $A$ $B$ $A$ $B$ $B$ $A$ $A$ $B$ $A$ $B$ $B$ $A$

Huippupisteen vertex-vanhempien joukko merkitään nimellä . $V_i$ $\mathrm {parents} (V_{i})=\mathbf {PA} _{i}$

Suunnattua asyklistä graafia kutsutaan Bayesin verkoksi satunnaismuuttujien joukolle määritellylle todennäköisyysjakaumalle , jos graafin kukin kärkipiste liittyy satunnaismuuttujaan kohdasta , ja graafin kaaret täyttävät ehdon (Markov-ehto [1] ): minkä tahansa muuttujan from on oltava ehdollisesti riippumaton kaikista verteistä, jotka eivät ole sen jälkeläisiä, jos kaikki sen suorat vanhemmat graafissa ts. $G$ $P(\mathbf {v} )$ ${\mathbf {V}}$ ${\mathbf {V}}$ $V_i$ ${\mathbf {V}}$ ${\displaystyle \mathbf {PA} _{i))$ $G$

$\forall V_{i}\in \mathbf {V}$ reilu: $P(v_{i}\mid \mathbf {pa} _{i},\mathbf {s} )=P(v_{i}\mid \mathbf {pa} _{i}),$

missä on arvo ; - kokoonpano $v_{i}$ $V_i$ ${\mathbf {s))$ [ määrittää ] ; on joukko kaikista vertices, jotka eivät ole jälkeläisiä ; - konfigurointi . $\mathbf {S}$ $\mathbf {S}$ $V_i$ ${\displaystyle \mathbf {pa} _{i))$ ${\displaystyle \mathbf {PA} _{i))$

Sitten arvojen täydellinen yhteisjakauma pisteissä voidaan kirjoittaa kätevästi paikallisten jakaumien hajotelmana (tulona):

\mathrm {P} (V_{1},\ldots ,V_{n})=\prod _{i=1}^{n}\mathrm {P} (V_{i}\mid \operaattorin nimi { vanhemmat} (V_{i})).

Jos kärjellä ei ole esi-isiä, niin sen paikallista todennäköisyysjakaumaa kutsutaan ehdoton , muuten ehdollinen . Jos huippupiste - satunnaismuuttuja on saanut arvon (esimerkiksi havainnon tuloksena), sellaista arvoa kutsutaan todisteeksi . Jos muuttujan arvo asetettiin ulkopuolelta (eikä havaittu), niin tällaista arvoa kutsutaan interventioksi ( englanniksi toiminta ) tai interventioksi ( englanniksi interventio ) [1] . $V_i$

Ehdollista riippumattomuutta Bayes-verkossa edustaa graafinen ominaisuus d-separation .

d-erottelu

Polkua kutsutaan d - erotetuksi tai suljetuksi kärkijoukoksi , jos ja vain jos $s$ $Z$

$s$ sisältää ketjun tai haaran , joka kuuluu , tai $i\to m\to j$ $i\gets m\to j$ $m$ $Z$
$s$ sisältää käänteisen haarukan (collider) siten, että se ei kuulu eikä kärjessä ole lapsia, jotka kuuluvat . $i\to m\gets j$ $m$ $Z$ $m$ $Z$

Antaa olla ei-leikkaava osajoukkoja vertics on asyklinen suunnattu graafi . Piikkijoukon sanotaan olevan d-erottava silloin ja vain, jos se estää kaikki polut mistä tahansa pisteestä, joka kuuluu mihin tahansa kärkeen, joka kuuluu , ja jota merkitään . Polku on graafin [1] peräkkäisten reunojen sarja (mihin tahansa suuntaan) . ${\näyttötyyli X,Y,Z}$ $G$ $Z$ $X$ $Y$ $Z$ $X$ $Y$ ${\displaystyle (\langle X\perp \!\!\!\perp Y\mid Z\rangle )_{G))$

d-erottelulause

Seuraava on totta mille tahansa kolmelle ei-päällekkäiselle kärkien osajoukolle asyklisessä suunnatussa graafissa ja kaikille todennäköisyysjakaumille : $(X,Y,Z)$ $G$ $P$

jos , niin , jos ja ovat Markov-yhteensopivia, ja ${\displaystyle (\langle X\perp \!\!\!\perp Y\mid Z\rangle )_{G))$ ${\displaystyle (\langle X\perp \!\!\!\perp Y\mid Z\rangle )_{P))$ $G$ $P$
jos ehdollisen riippumattomuuden suhde pätee kaikille todennäköisyysjakaumille, jotka ovat Markov-yhteensopivia kanssa , niin tämä tarkoittaa . ${\displaystyle (\langle X\perp \!\!\!\perp Y\mid Z\rangle )_{P))$ $G$ ${\displaystyle (\langle X\perp \!\!\!\perp Y\mid Z\rangle )_{G))$

Toisin sanoen, jos kärjet ovat d-erotettuja, ne ovat ehdollisesti riippumattomia; ja jos kärjet ovat ehdollisesti riippumattomia kaikissa graafin kanssa yhteensopivissa todennäköisyysjakaumissa , ne ovat d-erotettuja [1] . $G$

( tarkoittaa, että muuttujien ja joukot ovat ehdollisesti riippumattomia tietylle joukolle .) ${\displaystyle (\langle X\perp \!\!\!\perp Y\mid Z\rangle )_{P))$ $X$ $Y$ $Z$

Todisteet

Todisteet - lausunnot muotoa "tapahtuma tapahtui solmussa x". Esimerkiksi: "tietokone ei käynnisty" .

Todennäköisyyskyselyt

Bayes-verkon avulla voit saada vastauksia seuraavan tyyppisiin todennäköisyyskyselyihin [2] :

todisteiden todennäköisyyden löytäminen,
a priori marginaalitodennäköisyyksien määrittäminen,
posterioristen marginaalitodennäköisyyksien määrittäminen, mukaan lukien:

ennustaminen tai suora päättely , - tapahtuman todennäköisyyden määrittäminen havaittavissa olevista syistä, diagnosointi tai käänteinen päättely ( kaappaus ), - syyn todennäköisyyden määrittäminen, jolla on havaitut seuraukset, intercausal (mixed) inference ( englanniksi intercausal inference ) tai transduktio , - tapahtuman yhden syyn todennäköisyyden määrittäminen edellyttäen, että tapahtumaan liittyy yksi tai useampi muu syy.

havaitun tapahtuman todennäköisimmän selityksen laskeminen ( englanniksi most probable magyarázat , MPE ),
a posteriori maksimin laskenta ( eng. maximum a-posteriori, MAP ).

Esimerkki

Oletetaan, että ruohon kastumiseen (GRASS WET) voi olla kaksi syytä: sprinkleri on toiminut tai satanut. Oletetaan myös, että sade vaikuttaa sprinklerin toimintaan (sateen aikana laite ei käynnisty). Sitten tilanne voidaan mallintaa havainnollistetun Bayesin verkon avulla. Kukin kolmesta muuttujasta voi saada vain yhden kahdesta mahdollisesta arvosta: T (tosi - tosi) ja F (epätosi - epätosi) kuvan taulukoissa esitetyillä todennäköisyyksillä.

Yhteinen todennäköisyysfunktio:

$\mathrm {P} (G,S,R)=\mathrm {P} (G\mid S,R)\cdot \mathrm {P} (S\mid R)\cdot \mathrm {P} ( R)$

jossa kolme muuttujan nimeä tarkoittavat G = Ruoho märkä , S = Sprinkleri ja R = Sade .

Malli voi vastata kysymyksiin, kuten "Millä todennäköisyydellä satoi, jos ruoho on märkää?" käyttämällä ehdollista todennäköisyyskaavaa ja summaamalla muuttujat:

{\mathrm P}({\mathit {R}}=T\mid {\mathit {G}}=T)={\frac {{\mathrm P}({\mathit {G}}=T,{\ mathit {R}}=T)}{{\mathrm P}({\mathit {G}}=T)))={\frac {\sum _{({\mathit {S}}\in \{T ,F\}}}{\mathrm P}({\mathit {G}}=T,{\mathit {S}},{\mathit {R}}=T)}{\sum _{({\mathit {S)),{\mathit {R}}\in \{T,F\}}}{\mathrm P}({\mathit {G}}=T,{\mathit {S}},{\mathit {R}})))}}

={\frac {(0,99\times 0,01\times 0,2=0,00198_{TTT})+(0,8\times 0,99\times 0,2=0,1584_{TFT})}{0,00198_{TTT8_{0,28 TTF}+0,1584_{TFT}+0_{TFF}}}\noin 35,77\%.

Todennäköisyyspohjainen päättely

Koska Bayesin verkko on täydellinen malli muuttujille ja niiden suhteille, sitä voidaan käyttää vastaamaan todennäköisyyskysymyksiin. Verkon avulla voidaan esimerkiksi hankkia uutta tietoa muuttujien osajoukon tilasta tarkkailemalla muita muuttujia ( todistemuuttujia ). Tätä prosessia, jossa lasketaan muuttujien jälkijakauma todistemuuttujien välillä , kutsutaan todennäköisyyksiksi. Tämä seuraus antaa meille yleisen arvion sovelluksille, joissa meidän on valittava muuttujien osajoukon arvot, jotka minimoivat häviöfunktion, esimerkiksi virheellisen päätöksen todennäköisyyden. Bayesin verkkoa voidaan myös ajatella mekanismina, joka rakentaa automaattisesti Bayesin lauseen laajennuksen monimutkaisempiin ongelmiin.

Todennäköisyyspohjaisten päätelmien suorittamiseen Bayesin verkoissa käytetään seuraavia algoritmeja [1] [3] :

Tarkka:
- raa'an voiman päättely marginalisoimalla täysi yhteisjako;
- muuttujien eliminointialgoritmit ja symboliset laskelmat,
- klusterointi,
- algoritmit viestien levittämiseksi (lähettämiseksi) verkkosolmujen välillä,
Monte Carlon menetelmään perustuvat likiarvot :
- näytteenottoalgoritmit poissulkemalla,
- todennäköisyyteen perustuva otantamenetelmä,
- MCMS- algoritmi ( eng. Markov-ketju Monte Carlo ) jne.

Sovellukset

Bayesilaisia verkkoja käytetään mallintamiseen bioinformatiikassa ( geneettiset verkot , proteiinien rakenne ) , lääketieteessä , dokumenttien luokittelussa , kuvankäsittelyssä , tietojenkäsittelyssä , koneoppimisessa ja päätöksenteon tukijärjestelmissä .

Lisätietoja

Association for Uncertainty in Artificial Intelligence: http://www.auai.org/ Arkistoitu 2. kesäkuuta 2007 Wayback Machinessa
Johdatus Bayesian Networksiin: http://www.niedermayer.ca/papers/bayesian/bayes.html Arkistoitu 21. toukokuuta 2017 Wayback Machinessa
Online-opastus Bayesin verkoista ja todennäköisyydestä: http://www.dcs.qmw.ac.uk/%7Enorman/BBNs/BBNs.htm Arkistoitu 4. toukokuuta 2009 Wayback Machinessa
Sergei Nikolenko. Luennot #8 Arkistoitu 29. joulukuuta 2009 Wayback Machinessa , #9 Arkistoitu 1. tammikuuta 2015 Wayback Machinessa ja #10 Arkistoitu 1. tammikuuta 2015 Wayback Machinessa Bayesin uskomusverkostoissa. Kurssi "Itseoppivat järjestelmät"

Ilmainen ja avoimen lähdekoodin ohjelmisto

OpenBayes https://github.com/abyssknight/OpenBayes-Fork (sisältää OpenBayesin korjatun koontiversion osoitteesta openbayes.org)
RISO: http://sourceforge.net/projects/riso/ Arkistoitu 4. maaliskuuta 2007 Wayback Machinessa (hajautetut uskomusverkostot)
BANSY3 Arkistoitu 20. heinäkuuta 2011 Wayback Machinessa - Freeware. Ei-lineaarisen dynamiikan laboratoriosta. Matematiikan laitos, Science School, UNAM.
SamIam: http://reasoning.cs.ucla.edu/samiam Arkistoitu 24. huhtikuuta 2007 Wayback Machinessa

Kaupalliset ohjelmistotuotteet

AgenaRisk Bayesian verkkotyökalu: http://www.agenarisk.com Arkistoitu 16. maaliskuuta 2022 Wayback Machinessa
BayesFusion (GeNIe ja SMILE): https://www.bayesfusion.com/ Arkistoitu 29. marraskuuta 2018 Wayback Machinessa
Bayesin verkkosovelluskirjasto: http://www.norsys.com/netlibrary/index.htm Arkistoitu 11. kesäkuuta 2007 Wayback Machinessa
Bayesia: http://www.bayesia.com Arkistoitu 8. maaliskuuta 2022 Wayback Machinessa
Hugin: http://www.hugin.com Arkistoitu 30. toukokuuta 2020 Wayback Machinessa
Netica: http://www.norsys.com Arkistoitu 20. toukokuuta 2007 Wayback Machinessa
BNet: http://www.cra.com/bnet Arkistoitu 5. heinäkuuta 2008 Wayback Machinessa
Dezide: http://www.dezide.com Arkistoitu 8. maaliskuuta 2022 Wayback Machinessa
MSBNx: komponenttikeskeinen työkalupakki Bayesian Networkin mallintamiseen ja päättelyyn ( Microsoft Researchilta ): https://www.microsoft.com/en-us/download/details.aspx?id=52299 Arkistoitu 29. marraskuuta 2018 Waybackissa Kone
Bayes Net Toolbox Matlabille: http://bnt.sourceforge.net/ Arkistoitu 10. toukokuuta 2007 Wayback Machinessa
dVelox: http://www.apara.es/en/about-apara-predictive-analytics Arkistoitu 29. marraskuuta 2018 Wayback Machinessa
SIAM & Causeway: https://web.archive.org/web/20070221060515/http://www.inet.saic.com/

Katso myös

Muistiinpanot

↑ 1 2 3 4 5 6 Judea Pearl. Syy-yhteys: mallit, päättely ja päättely. - 2. painos. - Cambridge University Press, 2009. - 464 s. — ISBN 9780521895606 .
↑ Adnan Darwiche. Mallintaminen ja päättely Bayesin verkkojen kanssa. - Cambridge University Press, 2009. - 526 s. — ISBN 978-0521884389 .
↑ Stuart Russell, Peter Norvig. Tekoäly: moderni lähestymistapa (AIMA): [käännös. englannista]. - 2. painos - M .: Williams, 2005. - 1424 s.

Linkit

Jensen, Finn V. Bayesin verkot ja päätöskaaviot . - Springer , 2001.
Judea Pearl, Stuart Russell. Bayesin verkot. UCLA Cognitive Systems Laboratory, Technical Report (R-277), marraskuu 2000.
Judea Pearl, Stuart Russell. Bayesian Networks, julkaisussa M.A. Arbib (Toim.), Handbook of Brain Theory and Neural Networks , s. 157-160, Cambridge, MA: MIT Press , 2003, ISBN 0-262-01197-2 .
Neil M, Fenton N, Tailor M, "Bayesian verkkojen käyttäminen odotettujen ja odottamattomien käyttötappioiden mallintamiseen", Risk Analysis: An International Journal, Vol 25(4), 963-972, 2005. http://www.dcs.qmul .ac.uk/~norman/papers/oprisk.pdf Arkistoitu 27. syyskuuta 2007 Wayback Machinessa
Enrique Castillo, José Manuel Gutierrez ja Ali S. Hadi. Asiantuntijajärjestelmät ja todennäköisyyspohjaiset verkkomallit . New York: Springer-Verlag , 1997. ISBN 0-387-94858-9
Fenton NE ja Neil M, "Todisteiden yhdistäminen riskianalyysissä Bayesian Networksin avulla." https://web.archive.org/web/20070927153751/https://www.dcs.qmul.ac.uk/~norman/papers/Combining%20evidence%20in%20risk%20analysis%20using%20BNs.pdf
Juudean helmi. Fuusio, leviäminen ja strukturoituminen uskomusverkostoissa. Artificial Intelligence 29 (3): 241-288, 1986.
Helmi, Juudea . Todennäköisyyspohjainen päättely älykkäissä järjestelmissä . - Morgan Kaufmann , 1988. - ISBN 0-934613-73-7 .
Juudean helmi. syy-seuraus. 2000.
JW Comley ja DL Dowe arkistoitu 12. helmikuuta 2006 Wayback Machinessa , " Minimum Message Length, MDL and Generalized Bayesian Networks with Asymmetric Languages " Arkistoitu 4. elokuuta 2016 Wayback Machinessa ", luku 11 (s . 265 Arkistoitu 27. syyskuuta 21 Wayback Machine - 294 Arkistoitu 27. syyskuuta 2016 the Wayback Machine ) paikassa P. Grunwald, MA Pitt ja IJ Myung (toim.), Advances in Minimum Description Length: Theory and Applications Arkistoitu 19. kesäkuuta 2006 Wayback Machinessa , Cambridgessa, MA: MIT Press , huhtikuu 2005, ISBN 0-262-07262-9 . (Tämä artikkeli sijoittaa päätöspuut Bayes-verkkojen sisäisiin solmuihin käyttämällä minimiviestin pituutta, arkistoitu 9. helmikuuta 2006 Wayback Machinessa ( MML ). Aiempi versio on Comley ja Dowe (2003) Arkistoitu 4. elokuuta 2016 Wayback Machinessa . pdf Arkistoitu 10. helmikuuta 2006 Wayback Machinessa .)
Christian Borgelt ja Rudolf Kruse. Graafiset mallit - Methods for Data Analysis and Mining Arkistoitu 10. kesäkuuta 2007 Wayback Machinessa , Chichester, UK: Wiley , 2002, ISBN 0-470-84337-3
Korb, Kevin B.; Ann E Nicholson. Bayesin tekoäly . - CRC Press , 2004. - ISBN 1-58488-387-1 . Arkistoitu 10. huhtikuuta 2007 Wayback Machinessa
Nevin Lianwen Zhang Arkistoitu 7. kesäkuuta 2007 Wayback Machinessa ja David Poole Arkistoitu 10. kesäkuuta 2007 Wayback Machinessa , yksinkertainen lähestymistapa Bayesin verkkolaskutoimiin Arkistoitu 17. huhtikuuta 2007 Wayback Machinessa , Proceedings of the Tenth Biennial Intelligence Canadian -94), Banff, toukokuu 1994, 171-178. Tässä artikkelissa esitetään muuttuva eliminaatio uskomusverkostoille.
David Heckerman Arkistoitu 30. toukokuuta 2007 Wayback Machinessa , opetusohjelma Bayesian Networksin kanssa oppimisesta Arkistoitu 19. heinäkuuta 2006 Wayback Machinessa . julkaisussa Learning in Graphical Models, M. Jordan, toim. MIT Press, Cambridge, MA, 1999. Näkyy myös nimellä Technical Report MSR-TR-95-06, Microsoft Research, maaliskuu 1995. Aiempi versio esiintyy nimellä Bayesian Networks for Data Mining, Data Mining and Knowledge Discovery, 1:79- 119, 1997. Paperi käsittelee sekä parametrien että rakenteen oppimista Bayesin verkoissa.

Sanakirjat ja tietosanakirjat	iso kiinalainen Britannica (verkossa)

Piirrä todennäköisyysmallit
Bayesin verkko Causal Bayesian Network Markovin verkko Piilotettu Markovin malli

Koneoppiminen ja tiedon louhinta
Tehtävät	Luokittelu ongelma Oppiminen ilman opettajaa Opettajan avustama oppiminen Taantumisanalyysi AutoML Yhdistyksen säännöt Ominaisuuksien erottaminen Ominaisuuksien koulutus Ranking koulutus Kieliopillinen johtaminen Verkko-oppiminen
Opettajan kanssa oppimista	k-lähimmän naapurin menetelmä Naiivi Bayesin luokitin päätöspuu Tuki vektorikonetta Lineaarinen regressio Logistinen regressio perceptron Mallien kokoonpanot Pussittaminen tehostaa satunnainen metsä Asiaankuuluva vektorimenetelmä
ryhmäanalyysi	k-keinomenetelmä Sumea klusterointimenetelmä Hierarkkinen klusterointi EM-algoritmi KOIVU PARANTAA DBSCAN OPTIIKKA Keskimääräinen siirto
Mittasuhteiden vähentäminen	Tekijäanalyysi Pääkomponenttimenetelmä CCA ICA LDA Ei-negatiivinen matriisin laajennus t-SNE
Rakenteellinen ennustaminen	Graafinen todennäköisyysmalli Bayesin verkko Piilotettu Markovin malli CRF
Anomalian havaitseminen	k-lähimmän naapurin menetelmä Paikallinen päästötaso
Piirrä todennäköisyysmallit	Bayesin verkko Markovin verkko Piilotettu Markovin malli
Neuroverkot	Rajoitettu Boltzmann-kone itseorganisoituva kartta Aktivointitoiminto Sigmoidi softmax Radiaalinen kantafunktio Takaisin lisäysmenetelmä Syväoppiminen Monikerroksinen perceptroni Toistuva neuroverkko pitkä lyhytaikainen muisti Hallittu toistuva esto Konvoluutiohermoverkko U-verkko Autoenkooderi
Vahvistusoppiminen	Markovin prosessi Bellmanin yhtälö Ahne algoritmi Q-oppiminen SARSA Aikaero (TD)
Teoria	Vapnik-Chervonenkis teoria Bias-dispersion dilemma Laskennallinen oppimisteoria Empiirinen riskin minimointi Occam oppii PAC-oppiminen Tilastollinen oppimisteoria
Lehdet ja konferenssit	NeurIPS ICML ML JMLR ArXiv:cs.LG