Konjugoi aiempi jakelu

Kokeneet kirjoittajat eivät ole vielä tarkistaneet sivun nykyistä versiota, ja se voi poiketa merkittävästi 26. kesäkuuta 2016 tarkistetusta versiosta . tarkastukset vaativat 2 muokkausta .

Konjugaattipriorijakauma ( eng. conjugate prior ) ja konjugaattijakaumien perhe ovat yksi Bayesin tilastojen peruskäsitteitä .

Harkitse ongelmaa parametrin (jota pidetään satunnaismuuttujana ) jakauman löytämisessä käytettävissä olevan havainnon mukaan . Bayesin lauseen mukaan posteriorijakauma lasketaan aiemmasta jakaumasta todennäköisyystiheydellä ja todennäköisyysfunktiolla käyttämällä kaavaa: $\theta$ $x$ $p(\theta)$ $p(x|\theta )$

\displaystyle p(\theta |x)={\frac {p(x|\theta )\,p(\theta )}{\int \limits _{{\text{range}}\;\theta }p( x|\theta )\,p(\theta )\,d\theta }}.

Jos posteriorijakauma kuuluu samaan todennäköisyysjakaumien perheeseen kuin aiempi jakauma (eli sillä on sama muoto, mutta eri parametrein), niin tätä jakaumien perhettä kutsutaan konjugaatiksi todennäköisyysfunktioiden perheeseen . Tässä tapauksessa jakaumaa kutsutaan todennäköisyysfunktioiden perheen konjugaattiprioriksi jakaumaksi . $p(\theta |x)$ $p(\theta)$ $p(x|\theta )$ $p(\theta)$ $p(x|\theta )$

Jakaumien konjugaattiperheiden tuntemus yksinkertaistaa huomattavasti a posteriori todennäköisyyksien laskemista Bayesin tilastoissa , koska sen avulla voit korvata hankalia integraalien laskennan Bayesin kaavassa yksinkertaisilla algebrallisilla manipulaatioilla jakaumien parametrien suhteen.

Esimerkki

Bernoullin lain mukaan jakautuneelle satunnaismuuttujalle (kolikon heittäminen), jonka parametri on tuntematon (onnistumisen todennäköisyys), konjugaattipriorejakauma on yleensä beeta-jakauma todennäköisyystiheydellä: $q\in[0,1]$

p(q=x)={x^{\alpha -1}(1-x)^{\beta -1} \over \mathrm {B} (\alpha ,\beta )}

jossa ja valitaan siten, että ne kuvastavat saatavilla olevaa ennakkotietoa tai uskomusta parametrin q jakaumasta (valitsemalla = 1 ja = 1 antaa tasaisen jakauman), ja Β ( , ) on beetafunktio , joka toimii tässä normalisoimaan todennäköisyys. $\alpha$ $\beeta$ $\alpha$ $\beeta$ $\alpha$ $\beeta$

Parametreja ja kutsutaan usein hyperparametreiksi (aikaisiksi jakaumaparametreiksi), jotta ne voidaan erottaa todennäköisyysfunktion parametreista (tässä tapauksessa q ). $\alpha$ $\beeta$

Jos otamme näytteen tämän satunnaismuuttujan n arvosta, ja niiden joukossa on s onnistumista ja f epäonnistumista, parametrin q jälkijakauma on:

P(s,f|q=x)={s+f \valitse s}x^{s}(1-x)^{f},

p(q=x|s,f)={{{s+f \valitse s}x^{s+\alpha -1}(1-x)^{f+\beta -1}/\mathrm {B} ( \alpha ,\beta )} \over \int _{y=0}^{1}\left({s+f \choose s}y^{s+\alpha -1}(1-y)^{f+\ beta -1}/\mathrm {B} (\alpha ,\beta )\right)dy}={x^{s+\alpha -1}(1-x)^{f+\beta -1} \over \mathrm {B} (s+\alpha ,f+\beta )},

Tämä jälkijakauma osoittautuu myös jakautuneeksi beta-jakauman mukaan .

Taulukko jakaumien konjugaattiperheistä

Alla olevat taulukot osoittavat, kuinka posteriorijakauman parametrit muuttuvat n riippumattoman, tasaisesti jakautuneen havainnon otoksen jälkeen . Toinen sarake on todennäköisyysfunktion parametri, jonka suhteen konjugaattijakaumien perhe muodostetaan. $x_{1},x_{2},\ldots ,x_{n}$

Diskreetti hajautetut todennäköisyysfunktiot

todennäköisyysfunktio	Parametri	Jakaumien konjugaattiperhe	Aikaisemman jakelun hyperparametrit	Takajakauman hyperparametrit
Bernoulli	s	Beeta	$\alpha ,\,\beta$	${\displaystyle \alpha +\sum _{i=1}^{n}x_{i},\,\beta +n-\sum _{i=1}^{n}x_{i))$
Binomi	s	Beeta	$\alpha ,\,\beta$	$\alpha +\sum _{i=1}^{n}x_{i},\,\beta +\sum _{i=1}^{n}N_{i}-\sum _{i =1}^{n}x_{i}$
Negatiivinen binomi	s	Beeta	$\alpha ,\,\beta$	${\displaystyle \alpha +rn,\,\beta +\sum _{i=1}^{n}x_{i))$
Poisson	λ	Gamma	$k,\,\theta$	$k+\sum _{i=1}^{n}x_{i},\ {\frac {\theta }{n\theta +1))$
Poisson	λ	Gamma	$\alpha ,\,\beta$ [yksi]	$\alpha +\sum _{i=1}^{n}x_{i},\ \beta +n$
Multinomi	p (todennäköisyysvektori)	Dirichlet	$\vec{\alpha}$	${\displaystyle {\vec {\alpha }}+\sum _{i=1}^{n}{\vec {x}}^{\,(i)))$
Geometrinen	p 0 (todennäköisyys)	Beeta	$\alpha ,\,\beta$	$\alpha +n,\,\beta +\sum _{i=1}^{n}x_{i}$

Jatkuvasti hajautetut todennäköisyysfunktiot

todennäköisyysfunktio	Parametri	Jakaumien konjugaattiperhe	Aikaisemman jakelun hyperparametrit	Takajakauman hyperparametrit
Univormu	$U(0,\theta )$	Pareto	$x_{m},\,k$	$\max\{\,x_{(n)},x_{m}\},\,k+n$
Eksponentiaalinen	λ	Gamma	$\alpha ,\,\beta$ [2]	$\alpha +n,\,\beta +\sum _{i=1}^{n}x_{i}$
Normaali tunnetulla varianssilla σ 2	μ	Normaali	$\mu _{0},\,\sigma _{0}^{2}$	$\left.\left({\frac {\mu _{0}}{\sigma _{0}^{2}}}+{\frac {\sum _{i=1}^{n}x_{i }}{\sigma ^{2}}}\right)\right/\left({\frac {1}{\sigma _{0}^{2}}}+{\frac {n}{\sigma ^ {2}}}\oikea),\,\vasen({\frac {1}{\sigma _{0}^{2}}}+{\frac {n}{\sigma ^{2}}}\ oikea)^{-1}$
Normaali tunnetulla τ = 1/ σ 2	μ	Normaali	${\displaystyle \mu _{0},\,\tau _{0))$	$\left.\left(\tau _{0}\mu _{0}+\tau \sum _{i=1}^{n}x_{i}\right)\right/(\tau _{0} +n\tau ),\,\tau _{0}+n\tau$
Normaali tunnetulla keskiarvolla μ	σ2 _	Skaalattu käänteinen chi-neliö	$\nu ,\,\sigma _{0}^{2}$	$\nu +n,\,{\frac {\nu \sigma _{0}^{2}+\sum _{i=1}^{n}(x_{i}-\mu )^{ 2}}{\nu +n}}$
Normaali tunnetulla keskiarvolla μ	τ (= 1/σ 2 )	Gamma	$\alpha ,\,\beta$ [2]	$\alpha +{\frac {n}{2)),\,\beta +{\frac {\sum _{i=1}^{n}(x_{i}-\mu )^{2 }}{2}}$
Normaali tunnetulla keskiarvolla μ	σ2 _	Käänteinen gamma-jakauma	$\mathbf {\alpha ,\,\beta }$	$\mathbf {\alpha } +{\frac {n}{2)),\,\mathbf {\beta } +{\frac {\sum _{i=1}^{n}{(x_{i}- \mu )^{2}}}{2}}$
Pareto	k	Gamma	$\alpha ,\,\beta$	$\alpha +n,\,\beta +\sum _{i=1}^{n}\ln {\frac {x_{i}}{x_{\mathrm {m} }}}$
Pareto	x m	Pareto	${\displaystyle x_{0},\,k_{0))$	$x_{0},\,k_{0}-kn$ tarjotaan . $k_{0}>kn$
Gamma tunnetulla α :lla [1]	β (käänteinen asteikko)	Gamma	$\alpha _{0},\,\beta _{0}$	${\displaystyle \alpha _{0}+n\alpha ,\,\beta _{0}+\sum _{i=1}^{n}x_{i))$