Arvio jälkikäteen maksimista

Tilastoissa maksimi a posteriori (MAP) -estimointimenetelmä liittyy läheisesti maksimitodennäköisyyden (ML) menetelmään, mutta lisäksi se käyttää optimoinnissaan arvioimansa arvon ennakkojakaumaa .

Johdanto

Oletetaan, että meidän on arvioitava hallitsematon näyteparametri havaintojen perusteella . Antaa olla näytteenottojakauma sellainen , että on todennäköisyys , kun näytteenottoparametri on . Sitten toiminto $\theta$ $x$ $f$ $x$ $f(x|\theta )$ $x$ $\theta$

\theta \mapsto f(x|\theta )

tunnetaan todennäköisyysfunktiona ja estimaatina

{\hat {\theta }}_{\mathrm {ML} }(x)=\arg \max _{\theta }f(x|\theta )

enimmäistodennäköisyysarviona . $\theta$

Oletetaan nyt, että on olemassa aikaisempi jakelu osoitteessa . Tämä mahdollistaa sen käsittelemisen satunnaismuuttujana kuten Bayesin tilastoissa . sitten jälkijakauma on : $g$ $\theta$ $\theta$ $\theta$

\theta \mapsto {\frac {f(x|\theta )\,g(\theta )}{\int _{\Theta }f(x|\theta ')\,g(\theta ') \,d\theta '}}

jossa jakautumistiheys on määritelmäalue . Tämä on Bayesin lauseen suora sovellus . $g$ $\theta$ $\Theta$ $g$

Maksimitodennäköisyyden estimointimenetelmä arvioi sitten , kuinka tämän satunnaismuuttujan jälkijakauma on: $\theta$

{\hat {\theta }}_{\mathrm {MAP} }(x)=\arg \max _{\theta }{\frac {f(x|\theta )\,g(\theta ) }{\int _{\Theta }f(x|\theta ')\,g(\theta ')\,d\theta '}}=\arg \max _{\theta }f(x|\theta ) \,g(\theta )

Posteriorijakauman nimittäjä ei riipu optimoinnista eikä sillä siksi ole merkitystä optimoinnissa. Huomaa, että MAP-pisteet vastaavat ML-pisteitä, kun a priori on vakio (eli vakio ). $\theta$ $\theta$ $g$

Esimerkki

Oletetaan, että meillä on iid - satunnaismuuttujien sarja ja aiemman jakauman antaa . Haluamme löytää MAP-arvion . ${\näyttötyyli (x_{1},\pisteet ,x_{n})}$ $N(\mu ,\sigma _{v}^{2})$ $\mu$ $N(0,\sigma _{m}^{2})$ $\mu$

Maksimoitava funktio on annettu

\pi (\mu )L(\mu )={\frac {1}{\sqrt {2\pi \sigma _{m))))\exp \left(-{\frac {1}{ 2}}\left({\frac {\mu }{\sigma _{m}}}\right)^{2}\right)\prod _{j=1}^{n}{\frac {1} {\sqrt {2\pi \sigma _{v))))\exp \left(-{\frac {1}{2))\left({\frac {x_{j}-\mu }{\sigma _{v}}}\oikea)^{2}\oikea),

mikä vastaa minimointia $\mu$

\sum _{j=1}^{n}\left({\frac {x_{j}-\mu }{\sigma _{v))}\right)^{2}+\left( {\frac {\mu }{\sigma _{m}}}\right)^{2}.

Näin ollen näemme, että μ:n MAP-estimaattori on annettu

{\hat {\mu }}_{MAP}={\frac {\sigma _{m}^{2}}{n\sigma _{m}^{2}+\sigma _{v} ^{2}}}\summa _{j=1}^{n}x_{j}.

Katso myös

EM-algoritmi on yksi tavoista laskea MAP
Suurimman todennäköisyyden menetelmä

Kirjallisuus

DeGroot, Morris H. Optimal Statistical Decisions. McGraw Hill. 1970.
Harold W. Sorenson . Parametrien arviointi: periaatteet ja ongelmat. Marcel Decker. 1980.