Bayesin ratkaisun arviointi

Matemaattisissa tilastoissa ja päätösteoriassa Bayesin päätösestimaatti on tilastollinen arvio , joka minimoi häviöfunktion posteriori - odotuksen (eli tappio -odotuksen jälkeisen odotuksen ). Toisin sanoen se maksimoi hyödyllisyysfunktion jälkiodotuksen . Bayesin teorian puitteissa tämä estimaatti voidaan määritellä a posteriori maksimin estimaatiksi .

Määritelmä

Oletetaan, että tuntemattomalla parametrilla on aikaisempi jakauma . Antaa olla arvio parametrista , joka perustuu joihinkin mittauksiin , ja olla neliöllinen häviöfunktio , ja parametrin Bayesin riski on , jossa keskiarvo otetaan haltuun jakauman : tämä määrittelee riskifunktion funktiona . Tällöin Bayesin estimaatia kutsutaan sellaiseksi arvioksi , joka minimoi Bayesin riskin kaikkien muiden arvioiden joukossa. Samoin estimaattori, joka minimoi posteriorisen odotetun tappion jokaiselle x:lle , minimoi myös Bayesin riskin ja on siten Bayesin estimaattori. [yksi] $\theta$ $\pi$ ${\hat {\theta }}={\hattu {\theta }}(x)$ $\theta$ $x$ $L(\theta ,{\hat {\theta )))$ ${\hattu {\theta ))$ $E_{\pi }(L(\theta ,{\hat {\theta ))))$ $\theta$ ${\hattu {\theta ))$ ${\hattu {\theta ))$ $E(L(\theta ,{\hat {\theta )))\mid x)$

Virheellisen aiemman jakauman tapauksessa estimaattia, joka minimoi kunkin x: n posteriorisen häviöodotuksen , kutsutaan yleistetyksi Bayesin estimaatiksi . [2]

Esimerkkejä

Arvio pienimmän neliövirheen keskiarvosta

Yleisimmin käytetty riskifunktio Bayesin estimointiin on neliövirhefunktio (englanninkielisessä kirjallisuudessa MSE). Pienin keskineliövirhe MSE määritellään seuraavasti $\mathrm {MSE} =E\left[({\widehat {\theta }}(x)-\theta )^{2}\oikea],$

jossa matemaattinen odotus otetaan yhteisjakaumasta ja . $\theta$ $x$

Posterior keskiarvo

Jos käytämme MSE:tä riskifunktiona, niin tuntemattoman parametrin Bayesin estimaatti on yksinkertaisesti posteriorijakauman keskiarvo : [3]

${\widehat {\theta }}(x)=E[\theta |x]=\int \theta p(\theta |x)\,d\theta .$

Tätä kutsutaan minimikeskineliövirhearvioksi. Bayesin riski on tässä tapauksessa posteriorinen varianssi.

Bayesin riski konjugaatille ennen

Tapauksissa, joissa ei ole hyvää syytä suosia yhtä prioria toiseen verrattuna , konjugaattia prior käytetään yksinkertaisuuden vuoksi . Se määritellään johonkin parametriseen perheeseen kuuluvana aiemmana jakaumana, jonka tuloksena oleva posteriorijakauma kuuluu myös tähän perheeseen. Tämä on tärkeä ominaisuus, koska Bayesin estimaatti sekä sen tilastolliset ominaisuudet ( varianssi , luottamusväli jne.) voidaan johtaa posteriorijakaumasta.

Se soveltuu erityisesti sekventiaaliarvioinnissa, jossa virtamittausten jälkijakaumaa käytetään priorina seuraavassa mittauksessa. Jokaisella tällaisten mittausten uudella iteraatiolla posteriorijakauma yleensä monimutkaistuu, eikä Bayesin estimaattia voida usein laskea ilman numeeristen menetelmien käyttöä .

Joitakin esimerkkejä konjugaattiprioreista:

Jos x|θ on normaalijakauma , x|θ ~ N(θ,σ 2 ) ja myös priorijakauma on normaali, θ ~ N(μ,τ 2 ), niin posteriorijakauma on myös normaalijakautunut ja Bayesin estimaattori alle MSE:n antaa:

${\widehat {\theta }}(x)={\frac {\sigma ^{2}}{\sigma ^{2}+\tau ^{2}}}\mu +{\frac {\ tau ^{2}}{\sigma ^{2}+\tau ^{2}}}x.$

Jos x 1 ,…,x n ovat yhtä riippumattomia Poissonin satunnaismuuttujia x i |θ ~ P(θ), ja jos apriori jakautuu gamma-jakauman θ ~ G(a, b) yli, niin posteriorilla on myös gamma-jakauma ja Bayesin estimaatti MSE:ssä saadaan seuraavasti:

${\widehat {\theta }}(X)={\frac {n{\overline {X}}+a}{n+{\frac {1}{b}}}}.$

Jos x 1 ,…,x n ovat riippumattomia yhtä jatkuvasti tasaisesti jakautuneita satunnaismuuttujia x i |θ~U(0,θ), ja priorilla on Pareto-jakauma θ~Pa(θ 0 ,a), niin posteriorilla on myös Pareto-jakauma ja Bayesin estimaatti MSE:ssä annetaan seuraavasti:

${\widehat {\theta }}(X)={\frac {(a+n)\max {(\theta _{0},x_{1},...,x_{n})} }{a+n-1}}.$

Vaihtoehtoiset riskifunktiot

Riskifunktiot valitaan sen mukaan, kuinka estimaatin ja tuntemattoman parametrin välinen aika mitataan. MSE on yleisimmin käytetty riskifunktio ensisijaisesti yksinkertaisuutensa vuoksi. Joskus kuitenkin käytetään vaihtoehtoisia riskitoimintoja. Seuraavassa on esimerkkejä tällaisista vaihtoehdoista. Lisäksi posteriori yleistetty jakauman funktio on merkitty . $F$

Posteriorimediaani ja muut kvantiilit

"Lineaarinen" häviöfunktio , jossa valitaan bayesilaiseksi estimaatiksi takajakauman mediaani: $a>0$

L(\theta ,{\widehat {\theta )))=a|\theta -{\widehat {\theta }}|

F({\widehat {\theta ))(x)|X)={\tfrac {1}{2)).

Toinen "lineaarinen" häviöfunktio, joka määrittää eri "painot" estimaatin ylä- tai alaosaan. Se valitsee kvantiilin posteriorisesta jakaumasta ja on yleistys edellisestä häviöfunktiosta. $a,b>0$

L(\theta ,{\widehat {\theta )))={\begin{cases}a|\theta -{\widehat {\theta }}|,&{\mbox{for }}\theta - {\widehat {\theta }}\geq 0\\b|\theta -{\widehat {\theta }}|,&{\mbox{for }}\theta -{\widehat {\theta }}<0\ lopeta{tapaukset}}

F({\widehat {\theta ))(x)|X)={\frac {a}{a+b)).

Arvio jälkikäteen maksimista

Seuraava häviöfunktio on monimutkaisempi: se muodostaa arvion posteriorisesta maksimista tai sitä lähellä olevasta pisteestä riippuen kaarevasta ja posteriorisen jakauman ominaisuuksista. Pieniä parametriarvoja suositellaan käytettäväksi menetelmän likimääräisenä $K>0$

( ): $L>0$

L(\theta ,{\widehat {\theta )))={\begin{cases}0,&{\mbox{for }}|\theta -{\widehat {\theta }}|<K\ \L,&{\mbox{for }}|\theta -{\widehat {\theta }}|\geq K.\end{cases}}

Vaikka keskineliövirhefunktio on yleisin ja kelvollisin, muita häviöfunktioita voidaan käyttää.

Yleiset Bayesin estimaattorit

Tähän mennessä on oletettu, että aiempi jakauma on todellinen todennäköisyysjakauma, koska $s$

\int p(\theta )d\theta =1.

Joskus tämä voi kuitenkin olla liian tiukka vaatimus. Esimerkiksi ei ole olemassa sellaista jakaumaa (joka kattaa koko reaalilukujoukon R ), jolla jokainen reaaliluku olisi yhtä mahdollista. Kuitenkin tietyssä mielessä tällainen jakauma näyttää olevan luonnollinen valinta ei-informatiiviselle priorille , toisin sanoen priorille, joka ei suosi jotakin tuntemattoman parametrin kiinteää arvoa. Funktion määrittäminen on edelleen mahdollista , mutta tämä ei ole enää oikea todennäköisyysjakauma, koska sillä on ääretön massa. $p(\theta )=1$

\int {p(\theta )d\theta }=\infty .

Tällaiset joukkomitat ovat virheellisiä aikaisempia jakaumia . $p(\theta)$

Väärien priorien käyttö tarkoittaa, että Bayesin riskiä ei ole määritelty (koska annettu priori ei itse asiassa ole todennäköisyysjakauma, emmekä voi ottaa siitä Odotettua arvoa ). Siksi on väärin puhua Bayesin estimaattorista, joka minimoi Bayesin riskin. Oli miten oli, posteriorijakauma voidaan laskea seuraavasti

p(\theta |x)={\frac {p(x|\theta )p(\theta )}{\int p(x|\theta )p(\theta )d\theta )).

Muista, että Bayesin lause koskee vain hyvin muodostettuja jakaumia, joten sitä ei voi käyttää tässä. Usein on kuitenkin tapauksia, joissa tuloksena oleva posteriorijakauma sallii tällaiset todennäköisyysjakaumat. Tässä tapauksessa jälkikäteen odotettu tappio

$\int {L(\theta ,a)p(\theta |x)d\theta }$

hyvin määritelty ja rajallinen. Muista, että oikean jakauman saamiseksi Bayesin estimaatit minimoivat posteriorihäviön. Kun aiempi jakauma on virheellinen, estimaattoria, joka minimoi tappion jälkiodotuksen, kutsutaan yleistetyksi Bayesin estimaattoriksi .

Empiiriset Bayesin arviot

Empiirisellä Bayesin menetelmällä tuotettuja Bayesin estimaattoreita kutsutaan empiirisiksi Bayesin estimaattoreiksi . Tämä menetelmä mahdollistaa tukitietojen käytön Bayesin estimaattorin kehittämisessä. Ne voidaan saada empiirisesti tarkkailemalla viereisiä parametreja. Tämä tehdään olettaen, että arvioidut parametrit on otettu samoista aikaisemmista tiedoista. Esimerkiksi jos eri parametreille tehdään riippumattomia havaintoja, on joskus mahdollista parantaa tietyn parametrin arvioinnin tehokkuutta käyttämällä muiden havaintojen tietoja.

Empiirisiä Bayesin arvioita varten on olemassa parametrisia ja ei-parametrisia tekniikoita. Parametriset ovat parempia, koska ne ovat soveltuvampia ja tarkempia pienille tietomäärille. [neljä]

Ominaisuudet

Sallittavuus

Bayesin säännöt, joilla on rajallinen Bayesin riski, ovat yleensä voimassa. Seuraavassa on joitain esimerkkejä hyväksyttävyyslauseista.

Jos Bayesin päätössääntö on ainutlaatuinen, se on hyväksyttävä. [5] Esimerkiksi, kuten edellä todettiin, keskimääräisen neliövirheen (MSE) alla Bayesin sääntö on ainutlaatuinen ja siksi pätevä.
Jos parametri θ kuuluu diskreettiin joukkoon , kaikki Bayesin säännöt ovat voimassa.
Jos parametri θ kuuluu jatkuvaan (ei-diskreettiin joukkoon) ja riskifunktio R(θ,δ) on jatkuva θ:ssa jokaiselle δ:lle, kaikki Bayesin säännöt ovat voimassa.

Samaan aikaan yleistetty Bayesin sääntö ei useinkaan määrittele Bayesin riskiä virheellisen ennakkojakauman tapauksessa. Nämä säännöt ovat usein virheellisiä, ja niiden vahvistaminen voi olla vaikeaa. Esimerkiksi yleinen Bayesin estimaatti parametrin θ siirtymästä, joka perustuu normaalijakauman omaavaan otokseen, on virheellinen . Tämä paradoksi tunnetaan Steinin paradoksina. esimerkki $p>2$

Käytännön esimerkkejä Bayesin arvioiden käytöstä

Internet Movie Database käyttää erityistä kaavaa käyttäjien elokuvien arvioiden laskemiseen ja vertailuun. Seuraavaa Bayesin kaavaa käytettiin alun perin 250 parhaan elokuvan painotetun keskiarvon laskemiseen, vaikka kaava on sittemmin muuttunut:

W={Rv+Cm \over v+m}\

missä:

W\

= painotettu luokitus

R\

= elokuvan keskimääräinen arvio, ilmaistuna numeroina 1-10 = (arvio)

v\

= elokuvan äänimäärä = (ääniä)

m\

= ennakkoarvioinnin antama paino (arvio perustuu keskiarvosanan jakautumiseen kaikkien elokuvien kesken)

C\

= kaikkien elokuvien keskimääräinen arvosana (tällä hetkellä 7,0)

IMDB:n lähestymistapa varmistaa, että useita satoja kertoja yksinomaan arvosanalla 10 arvioitu elokuva ei voi nousta korkeammalle kuin esimerkiksi Kummisetä, jonka keskiarvosana on 9,2 yli 500 000 käyttäjältä.

Katso myös

Bayesin ohjelmointi

Muistiinpanot

↑ Lehmann ja Casella, Lause 4.1.1
↑ Lehmann ja Casella, määritelmä 4.2.9
↑ Jaynes, E.T. Todennäköisyysteoria : tieteen logiikka . - 5. print.. - Cambridge [ua]: Cambridge University Press , 2007. - S. 172. - ISBN 978-0-521-59271-0 .
↑ Berger (1980), kohta 4.5.
↑ Lehmann ja Casella (1998), Lause 5.2.4.

Linkit

http://info.alnam.ru/book_osr.php?id=91 Arkistoitu 24. heinäkuuta 2017 Wayback Machinessa
http://lib.alnam.ru/book_inst.php?id=24 Arkistoitu 7. joulukuuta 2016 Wayback Machinessa
Bayesin lauseen intuitiivinen selitys arkistoitu 24. elokuuta 2015 Wayback Machinessa