Kullback-Leibler etäisyys

Kokeneet kirjoittajat eivät ole vielä tarkistaneet sivun nykyistä versiota, ja se voi poiketa merkittävästi 3. joulukuuta 2021 tarkistetusta versiosta . tarkastukset vaativat 2 muokkausta .

Etäisyys ( divergence , divergence ) Kullback-Leibler ( englanniksi Kullback-Leibler divergence ), RKL , informaatioero , erottava informaatio , tiedon vahvistus , suhteellinen entropia ( englanniksi suhteellinen entropia ) [1] - ei-negatiivinen funktionaalinen , joka on epäsymmetrinen mitta etäisyys toisistaan kahden alkeistapahtumien yhteisessä avaruudessa määritellyn todennäköisyysjakauman [2] ystävä . Käytetään usein informaatioteoriassa ja matemaattiset tilastot .

Määritelmä ja tulkinnat

Jakauman Kullback-Leibler-hajoaminen suhteessa (tai suhteellisesti sanottuna "etäisyyteen kohteeseen ") on merkitty . Funktionaalin ensimmäinen argumentti (jakauma ) tulkitaan yleensä tosi tai a priori oletettu jakaumaan , toinen (jakauma ) oletukseksi (varmennettavaksi). Jakauma toimii usein jakauman approksimaationa . Funktionaalin arvo voidaan ymmärtää huomiotta jätetyn jakaumainformaation määränä, jos sitä käytettiin approksimoimaan . Tämä etäisyyden mitta informaatioteoriassa tulkitaan myös tiedon menetyksen määräksi, kun todellinen jakauma korvataan jakaumalla . $K$ $P$ $P$ $K$ $D_{\mathrm {KL} }(P\parallel Q)$ $P$ $K$ $K$ $P$ $P$ $K$ $P$ $P$ $K$

Yleisessä tapauksessa, jos jokin mitta , jolle on olemassa funktioita , on ehdottoman jatkuva suhteessa ja , niin Kullback-Leibler-hajoaminen jakauman suhteen määritetään seuraavasti: $\mu$ $X$ $\mu$ $p={\frac {{\rm {d}}P}{{\rm {d}}\mu }}$ $q={\frac {{\rm {d}}Q}({\rm {d}}\mu }}$ $K$ $P$

D_{\mathrm {KL} }(P\parallel Q)=\int _{X}p\,\log {\frac {p}{q))\,{\rm {d))\mu

Tämän kaavan logaritmin kantalla ei ole merkittävää roolia. Sen valinta mahdollistaa tietyn tyyppisen funktion kiinnittämisen vastaavien funktionaalisten funktioiden perheestä ja se vastaa Kullback-Leibler-eron mittayksikön valintaa (samanlainen kuin entropian laskennassa ), joten on mahdollista käyttää logaritmia minkä tahansa funktion kanssa. kanta suurempi kuin yksi. Toisin sanoen funktionaali määritellään positiiviseen vakiotekijään asti. Yleisimmät ovat luonnollinen logaritmi (mukavuussyistä) sekä binäärilogaritmi - bittien poikkeaman mittaamiseen (käytetään yleensä informaatioteoriassa ). Kullback-Leibler-divergentti on dimensioton suure , riippumatta alkuperäisten satunnaismuuttujien ulottuvuudesta .

Vaikka Kullback-Leibler-etäisyyttä (RKL) pidetään usein tapana mitata todennäköisyysjakaumien välistä etäisyyttä, tämä funktio ei ole metriikka jakaumien avaruudessa, koska se ei täytä kolmio-epäyhtälöä eikä täytä jakauman aksioomaa. symmetria: . Kuitenkin sen äärettömän pieni muoto, erityisesti sen Hessian , antaa metrisen tensorin , joka tunnetaan nimellä Fisher-tietometriikka . $D_{\mathrm {KL} }(P\parallel Q)\neq D_{\mathrm {KL} }(Q\parallel P)$

Kullback-Leibler-etäisyys on erikoistapaus yleisemmästä poikkeavuusluokasta, jota kutsutaan f -eroista , sekä Bregman-erojen luokan erikoistapaus . RKL on ainoa todennäköisyyksien ero, joka kuuluu molempiin luokkiin.

RKL:n esittelivät alun perin Solomon Kullback ja Richard Leibler vuonna 1951 kahden jakauman suuntaisena erona. Tätä käsitellään Kullbackin tekstissä Information Theory and Statistics. [yksi]

Kullback-Leibler-etäisyys tulkitaan joskus myös informaatiovahvistukseksi, joka saavutetaan käytettäessä :n sijasta . Joskus RKL:n suhteelliselle entropialle (merkitty ) tai ristientropialle käytetään hämmentäviä nimiä . $D_{\mathrm {KL} }(P\parallel Q)$ $P$ $K$ $P$ $K$ $H(P\mid Q)$

Merkintöjen lukemisessa on erilaisia käytäntöjä . Usein kutsutaan yksinkertaisesti eroksi tai etäisyydeksi ja välillä , mutta tämä ei kerro suhteen perustavanlaatuista epäsymmetriaa. Joskus he sanovat "poikkeama (suhteessa) " tai suhteellisesti sanottuna "etäisyys kohteeseen " (yleensä suhteellisen entropian tai tiedonsaannin yhteydessä). Tässä tapauksessa jakauma tulkitaan tosi. $D_{\mathrm {KL} }(P\parallel Q)$ $P$ $K$ $P$ $K$ $K$ $P$ $K$

Radon-Nikodim-johdannaisen erityisiä määritelmiä ja määritelmiä

Diskreeteille todennäköisyysjakaumille ja useille perustapahtumille jakauman Kullback -Leibler-hajoaminen suhteessa jakaumaan (tai "etäisyys kohteeseen ") määritellään [3] seuraavasti: $P$ $K$ $n$ $K$ $P$ $P$ $K$

D_{KL}(P\parallel Q)=\sum \limits _{i=1}^{n}p_{i}\log {\frac {p_{i}}{q_{i}}}

Toisin sanoen se on todennäköisyyksien ja logaritmisen eron keskiarvo , jossa keskiarvo on otettu jakaumasta . RKL määritellään vain jos , kaikille ( absoluuttinen jatkuvuus ). Aina kun , -th termin panos tulkitaan nollaksi, koska . $s$ $q$ $P$ $q_{i}=0\Rightarrow p_{i}=0$ $i=1,...,n$ $p_{i}=0$ $i$ $\lim _{x\to 0}x\log(x)=0$

-ulotteisille ehdottoman jatkuville jakaumille ja Kullback -Leibler-etäisyys saadaan lausekkeella [4] $k$ $P$ $K$

D_{\mathrm {KL} }(P\parallel Q)=\int _{X}\,p(x)\log {\frac {p(x)}{q(x)))\, {\rm {d}}x

missä ja ovat jakauman tiheysfunktiot ja , vastaavasti, määritetty välissä . $p(x)$ $q(x)$ $P$ $K$ ${\displaystyle X\subseteq R^{k))$

Yleisemmin sanottuna, jos ja ovat todennäköisyysmittauksia joukossa ja ovat ehdottoman jatkuvia suhteessa , niin RKL alkaen - määritellään seuraavasti: $P$ $K$ $X$ $P$ $K$ $P$ $K$

D_{\mathrm {KL} }(P\parallel Q)=\int _{X}\log {\frac ({\rm {d))P}({\rm {d))Q)) \,{\rm {d}}P

missä on Radon-Nikodym-johdannainen suhteessa , ja edellyttäen, että oikealla oleva lauseke on olemassa. Vastaavasti tämä voidaan kirjoittaa näin ${\frac {{\rm {d}}P}{{\rm {d}}Q}}$ $P$ $K$

D_{\mathrm {KL} }(P\parallel Q)=\int _{X}\log \!\left({\frac ({\rm {d))P}({\rm {d }}Q}}\oikea){\frac {{\rm {d}}P}{{\rm {d}}Q}}\,{\rm {d}}Q

On huomattava, että Radon-Nikodim-johdannaisen käyttö toimii muodollisena keinona näiden ilmaisujen kirjoittamiseen, mutta ei paljasta niiden merkityksellistä merkitystä.

Kullback-Leibler-hajautusfunktio on dimensioton, mutta sen arvoilla voi olla eri yksiköitä. Eli jos logaritmit näissä kaavoissa otetaan kannassa 2, niin divergentti (se on myös tietoa, informaatioteorian näkökulmasta) mitataan bitteinä ; jos perustuu e :ään (luonnollisella pohjalla), niin ero (informaatio) mitataan nats . Useimmat RKL:n sisältävät kaavat säilyttävät merkityksensä logaritmin kantasta riippumatta.

Karakterisointi

Arthur Hobson osoitti, että Kullback-Leibler-etäisyys on ainoa todennäköisyysjakaumien välisen eron mitta, joka tyydyttää joitain toivottuja ominaisuuksia, jotka ovat kanonisia laajennuksia niille, jotka esiintyvät yleisesti käytetyissä entropian karakterisoinnissa . [5] Siksi keskinäinen informaatio on ainoa keskinäisen riippuvuuden mitta, joka on tiettyjen liittyvien ehtojen alainen, koska se voidaan määritellä RCL:n avulla .

Kullback-Leibler-etäisyydelle on myös Bayesin luonnehdinta. [6]

Motivaatio

Informaatioteoriassa Kraft-McMillan-lause sanoo, että mitä tahansa suoraan dekoodattavaa koodausmenetelmää viestin koodaamiseksi yksittäisen arvon tunnistamiseksi , voidaan nähdä edustavan implisiittistä todennäköisyysjakaumaa , jossa on koodin pituus bitteinä. Siksi RCL voidaan tulkita lähetettäväksi odotetuksi ylimääräiseksi sanoman pituudeksi nollamerkistä, jos käytetään koodia, joka on optimaalinen tietylle (virheelliselle) Q:n jakaumalle, verrattuna P:n todelliseen jakaumaan perustuvaan koodiin. . $x_{i}\subset X$ $q(x_{i})=2^{-I_{i))$ $X$ $I_i$ $x_{i}$

${\textstyle {\begin{matrix}D_{\mathrm {KL} }(P\parallel Q)=-\sum _{x}p(x)\log q(x)+\sum _{x}p( x)\log p(x)=H(P,Q)-H(P)\,\!\end{matriisi}}}$ , missä on P:n ja Q:n ristientropia, on P : n entropia . $H(P,Q)$ $H(P)$

Huomaa myös, että suurten poikkeamien teoriassa RKL: n ja " nopeusfunktion" välillä on yhteys . [7] [8]

Ominaisuudet

Kullback-Leibler-etäisyys on aina ei-negatiivinen, tulos , joka tunnetaan Gibbsin epäyhtälönä melkein kaikkialla . Entropia H(P) määrittää siten ristientropian H(P,Q) minimiarvon, odotetun lisäbittien määrän, joka tarvitaan, kun käytetään Q-pohjaista koodia P:n sijaan. on välitettävä arvon määrittämiseksi , jos käytetään koodia, joka vastaa todennäköisyysjakaumaa Q "todellisen" jakauman P sijaan. $D_{\mathrm {KL} }(P\parallel Q)\geq 0,$ $D_{KL}(P\parallel Q)=0\iff P=Q$ $x\subset X$
Kullback-Leibler-etäisyys ei ole symmetrinen: . $D_{\mathrm {KL} }(P\parallel Q)\neq D_{\mathrm {KL} }(Q\parallel P)$

Kullback-Leibler-etäisyys pysyy tiukasti määriteltynä jatkuville jakaumille ja on lisäksi invariantti muuttujien muuttuessa. Jos esimerkiksi muuttuja x korvataan muuttujalla y(x), niin koska ja , RKL voidaan kirjoittaa uudelleen: $P(x)dx=P(y)dy$ $Q(x)dx=Q(y)$

${\textstyle D_{\mathrm {KL} }(P\parallel Q)=\int _{x_{a}}^{x_{b}}P(x)\log \left({\frac {P(x) )}{Q(x)}}\right)\,dx=\int _{y_{a}}^{y_{b}}P(y)\log \left({\frac {P(y)dy /dx}{Q(y)dy/dx}}\right)\,dy=\int _{y_{a}}^{y_{b}}P(y)\log \left({\frac {P (y)}{Q(y)}}\right)\,dy}$ ,

missä ja . Huolimatta siitä, että muutos oli jatkuvaa, tämä ei ole tarpeen tässä tapauksessa. Tämä osoittaa myös, että RKL määrittelee arvon , joka on yhdenmukainen dimension kanssa , koska jos x on dimensiomuuttuja, niin myös P(x):llä ja Q(x):llä on ulottuvuus, koska se on dimensioton suure. Logaritmin alla oleva lauseke pysyy kuitenkin dimensioimattomana, kuten sen kuuluukin. Siksi Kullback-Leibler-etäisyyttä voidaan pitää tietyssä mielessä perustavanlaatuisempana suureena kuin eräät muut informaatioteorian ominaisuudet [9] (kuten itseinformaatio tai Shannon-entropia ), joka voi muuttua määrittelemättömäksi tai negatiiviseksi ei-epäsuoralle. diskreetit todennäköisyydet. $y_{a}=y(x_{a})$ $y_{b}=y(x_{b})$ $P(x)dx$

RKL on additiivinen riippumattomille jakaumille samalla tavalla kuin Shannonin entropia. Jos ovat riippumattomia jakaumia yhteisjakaumalla ja vastaavasti , niin $P_{1}, P_{2}$ $P(x,y)=P_{1}(x)P_{2}(y)$ $Q(x,y)=Q_{1}(x)Q_{2}(y)$ $D_{\mathrm {KL} }(P\parallel Q)=D_{\mathrm {KL} }(P_{1}\parallel Q_{1})+D_{\mathrm {KL} }(P_{ 2}\rinnakkais Q_{2}).$

Kullback-Leibler-etäisyys monimuuttujanormaalijakaumassa

Oletetaan, että meillä on kaksi monimuuttujaa normaalijakaumaa , joissa on keskiarvo ja (käännettävä) kovarianssimatriisi . Jos kahdella jakaumalla on sama ulottuvuus k, niin jakaumien välinen RCL on seuraava [10] : ${\displaystyle \mu _{0},\mu _{1))$ $\Sigma _{0},\Sigma _{1}$

$D_{\text{KL}}({\mathcal {N}}_{0}\parallel {\mathcal {N}}_{1})={1 \over 2}\left(\mathrm { tr} \left(\Sigma _{1}^{-1}\Sigma _{0}\right)+\left(\mu _{1}-\mu _{0}\right)^{\top } \Sigma _{1}^{-1}(\mu _{1}-\mu _{0})-k+\ln \left({\det \Sigma _{1} \over \det \Sigma _{ 0}}\oikea)\oikea).$

Viimeisen termin logaritmi on otettava kantaan e, koska kaikki paitsi viimeinen termi ovat luonnollisia logaritmeja lausekkeista, jotka ovat joko mitä tahansa tiheysfunktion tekijöitä tai muuten esiintyvät luonnossa. Siksi yhtälö antaa tuloksen mitattuna nats . Jakamalla tämä lauseke kokonaan log e 2:lla, saadaan jakauma bitteinä.

Suhde mittareihin

RCL:ää voitaisiin kutsua " metriikaksi " todennäköisyysjakaumien avaruudessa, mutta tämä olisi väärin, koska se ei ole symmetrinen eikä täytä kolmio-epäyhtälöä . Silti alustavana metriikkana se luo topologian todennäköisyysjakaumien avaruuteen . Tarkemmin sanottuna, jos on jakaumien sarja sellainen, että , niin sanomme, että . Pinskerin epäyhtälöstä seuraa, että — , jossa jälkimmäistä tarvitaan variaatioiden konvergenssiin . $D_{\mathrm {KL} }(P\parallel Q)\neq D_{\mathrm {KL} }(Q\parallel P)$ ${\displaystyle \{P_{1},P_{2},\cdots \))$ $\lim _{n\rightarrow \infty }D_{\mathrm {KL} }(P_{n}\parallel Q)=0$ $P_{n}{\xrightarrow {D}}Q$ $P_{n}{\xrightarrow {\mathrm {D} }}P\Rightarrow P_{n}{\xrightarrow {\mathrm {TV} }}P$

Alfred Renyin (1970, 1961) mukaan . [11] [12]

Fisherin tietometriikka

Kullback-Leibler-etäisyys liittyy kuitenkin suoraan metriikkaan, nimittäin Fisherin tietometriikkaan . Oletetaan, että meillä on todennäköisyysjakaumat P ja Q, jotka molemmat on parametroitu samalla (mahdollisesti monimuuttujalla) parametrilla . Harkitse nyt kahta läheistä arvoa ja siten, että parametri eroaa vain pienen luvun parametrista . Laajentuessamme Taylor-sarjassa ensimmäiseen järjestykseen asti meillä on (käyttäen Einsteinin sopimusta ) $\theta$ $P=P(\theta )$ $Q=P(\theta _{0})$ $\theta$ $\theta _{0}$

$P(\theta )=P(\theta _{0})+\Delta \theta ^{j}P_{j}(\theta _{0})+\cdots$ ,

jossa on pieni muutos j:nnessä suunnassa ja on vastaava muutosnopeus todennäköisyysjakaumassa. Koska RCL:llä on absoluuttinen minimi, joka on yhtä suuri kuin 0 kohdassa P=Q, eli RCL:llä on toinen kertaluokka pienuuden parametrien suhteen . Muodollisesti, kuten minkä tahansa minimin kohdalla, divergenssin ensimmäinen derivaatta katoaa ${\displaystyle \Delta \theta ^{j}=(\theta -\theta _{0})^{j))$ $\theta$ $P_{j}(\theta _{0})={\frac {\partial P}{\partial \theta ^{j))}(\theta _{0})$ $\theta =\theta _{0}$ ${\displaystyle \Delta \theta ^{j))$ $\left.{\frac {\partial }{\partial \theta ^{j}}}\right|_{\theta =\theta _{0}}D_{KL}(P(\theta )\ rinnakkais P(\theta _{0}))=0,$

ja Taylor-laajennus alkaa toisesta pienuudesta

$D_{\mathrm {KL} }(P(\theta )\parallel P(\theta _{0}))={\frac {1}{2))\Delta \theta ^{j}\Delta \theta ^{k}g_{jk}(\theta _{0})+\cdots$ ,

jossa Hessenin täytyy olla ei-negatiivinen. Jos sen sallitaan vaihdella (ja jätetään pois aliindeksi 0), Hessian määrittelee (mahdollisesti rappeutuneen) Riemannin metriikan parametriavaruudessa , jota kutsutaan Fisherin tietometriikaksi. $g_{jk}(\theta )$ $\theta _{0}$ $g_{jk}(\theta )$ $\theta$

Suhde informaatioteorian muihin ulottuvuuksiin

Monet muut informaatioteorian suureet voidaan tulkita soveltavan Kullback-Leibler-etäisyyttä yksittäisiin tapauksiin.

Ominaisuusarvo on Kronecker-symbolin todennäköisyysjakauman RCL , joka edustaa varmuutta siitä, että - eli ylimääräisten bittien lukumäärää, jotka on lähetettävä, jotta voidaan määrittää , onko vastaanottimen käytettävissä vain todennäköisyysjakauma , ei sitä tosiasiaa, että . $D_{\mathrm {KL} }(\delta _{im}\parallel \{p_{i}\})$ $P(i)$ $i=m$ $i$ $P(i)$ $i=m$

Keskinäinen tieto -

${\begin{aligned}I(X;Y)&=D_{\mathrm {KL} }(P(X,Y)\parallel P(X)P(Y))\\&=\operaattorin nimi { E} _{X}\{D_{\mathrm {KL} }(P(Y\mid X)\parallel P(Y))\}\\&=\operaattorin nimi {E} _{Y}\{D_{ \mathrm {KL} }(P(X\mid Y)\rinnakkais P(X))\}\end{tasattu}}$

on RCL kahden marginaalitodennäköisyysjakauman tulosta yhteisestä todennäköisyysjakaumasta – eli odotetulla ylimääräisten bittien määrällä, jotka on lähetettävä määrittämään, ja jos ne koodataan käyttämällä vain marginaalijakaumaa yhteisjakauman sijaan. Vastaavasti, jos yhteistodennäköisyys tunnetaan, se on odotettu määrä ylimääräisiä bittejä, jotka pitäisi lähettää keskimäärin, jotta voidaan määrittää, onko arvo jo tiedossa vastaanottimelle. $P(X)P(Y)$ $P(X,Y)$ $X$ $Y$ $P(X,Y)$ $Y$ $X$

Shannonin entropia -

${\begin{aligned}\mathrm {H} (X)&=\operaattorin nimi {E} [\operaattorin nimi {I} _{X}(x)]\\&=\log(N)-D_{ \teksti{KL}}(P(X)\rinnakkais P_{U}(X))\end{aligned}}$

on bittien määrä, joka on lähetettävä tunnistaakseen yhtä todennäköisistä tuloksista, tämä on pienempi kuin todellisen jakauman tasainen jakautuma RCL - eli pienempi kuin odotettu tallennettujen bittien määrä, joka on lähetettävä, jos arvo on koodattu tasaiseen jakaumaan eikä todelliseen jakaumaan . $X$ $N$ $P_{U}(X)$ $P(X)$ $X$ $P_{U}(X)$ $P(X)$

Ehdollinen entropia -

${\begin{aligned}\mathrm {H} (X\mid Y)&=\log(N)-D_{\text{KL))(P(X,Y)\rinnakkais P_{U}( X)P(Y))\\&=\log(N)-D_{\teksti{KL}}(P(X,Y)\rinnakkais P(X)P(Y))-D_{\teksti{KL }}(P(X)\rinnakkais P_{U}(X))\\&=\mathrm {H} (X)-\operaattorinimi {I} (X;Y)\\&=\log(N)- \operaattorinimi {E} _{Y}{\bigl [}D_{\text{KL}}(P(X\mid Y)\parallel P_{U}(X)){\bigr ]}\end{aligned} }$

on bittien määrä, joka on lähetettävä tunnistamaan yhtä todennäköisistä tuloksista, tämä on pienempi kuin todellisen yhteisjakauman jakaumien tulon RCL - eli pienempi kuin odotettu tallennettujen bittien määrä, joka on lähetettävä, jos arvo on koodattu tasaisen jakauman mukaan, ei ehdollisen datajakauman ja . $X$ $N$ $P_{U}(X)$ $P(X,Y)$ $X$ $P_{U}(X)$ $P(X\mid Y)$ $X$ $Y$

Kahden todennäköisyysjakauman välinen ristientropia mittaa keskimääräistä bittien määrää, joka tarvitaan tapahtuman tunnistamiseen mahdollisten tapahtumien joukosta, jos käytetään tiettyyn todennäköisyysjakaumaan perustuvaa koodausjärjestelmää "todellisen" jakauman sijaan . Kahden jakauman ja saman todennäköisyysavaruuden poikkientropia määritellään seuraavasti: $K$ $P$ $P$ $K$ $H(p,q)=\operaattorinimi {E} _{p}[-\log q]=H(p)+D_{\mathrm {KL} }(p\rinnakkais q).$

Kullback-Leibler-etäisyys ja Bayesin muunnos

Bayesilaisessa tilastossa Kullback -Leibler-etäisyyttä voidaan käyttää tiedon vahvistuksen mittana, kun siirrytään apriorista todennäköisyysjakaumaan. Jos jokin uusi tosiasia löydetään , sitä voidaan käyttää (a priori) todennäköisyysjakauman muuntamiseen uudeksi (posterioriseksi) todennäköisyysjakaumaksi käyttämällä Bayesin lausetta : $Y=y$ $p(x\mid I)$ $X$ $p(x\mid y,I)$

p(x\mid y,I)={\frac {p(y\mid x,I)p(x\mid I)}{p(y\mid I))).

Tällä jakaumalla on uusi entropia

H{\big (}p(\cdot \mid y,I){\big )}=-\sum _{x}p(x\mid y,I)\log p(x\mid y, minä),

joka voi olla pienempi tai suurempi kuin alkuperäinen entropia . Uuden todennäköisyysjakauman osalta voidaan kuitenkin arvioida, että alkuperäisen koodin käyttäminen uuden koodin sijaan lisäisi odotetun bittimäärän viestin pituuteen. Tämä on siis se määrä hyödyllistä tietoa tai tiedon voittoa koskien , joka saatiin toteamalla, että . ${\displaystyle H{\big (}p(\cdot \mid I){\big )))$ $p(x\mid I)$ $p(x\mid y,I)$ $D_{\mathrm {KL} }{\big (}p(\cdot \mid y,I)\mid p(\cdot \mid I){\big )}=\sum _{x}p( x\mid y,I)\log {\frac {p(x\mid y,I)}{p(x\mid I)))$ $X$ $Y=y$

Jos myöhemmin saapuu toinen tieto, , x:n todennäköisyysjakaumaa voidaan päivittää edelleen, jotta saadaan uusi paras arvaus , . Jos tarkastelemme uudelleen käytettävää informaatiohyötyä , eikä , käy ilmi, että se voi olla enemmän tai vähemmän kuin aiemmin luultiin: , voi olla tai , kuin , ja siksi informaation kokonaishyöty ei täytä kolmion epäyhtälöä: $Y_{2}=y_{2}$ $p(x\mid y_{1},y_{2},I)$ $p(x\mid y_{1},I)$ $p(x\mid I)$ $\sum _{x}p(x\mid y_{1},y_{2},I)\log {\frac {p(x\mid y_{1},y_{2},I)} {p(x\mid I)}}$ $\leq$ ${\näyttötyyli >}$ $\displaystyle \sum _{x}p(x\mid y_{1},I)\log {\frac {p(x\mid y_{1},I)}{p(x\mid I) }}$

${\displaystyle D_{\mathrm {KL} }{\big (}p(\cdot \mid y_{1},y_{2},I)\parallel p(\cdot \mid I){\big )))$ , voi olla suurempi kuin, pienempi tai yhtä suuri kuin $D_{\mathrm {KL} }{\big (}p(\cdot \mid y_{1},y_{2},I)\parallel p(\cdot \mid y_{1},I){ \iso )}+D_{\mathrm {KL} }{\big (}p(\cdot \mid y_{1},I)\parallel p(x\mid I){\big )}.$

Voidaan vain sanoa, että keskimäärin, kun otetaan keskiarvo käyttäen , molemmat osapuolet antavat keskiarvon. $p(y_{2}\mid y_{1},x,I)$

Bayesin kokeellinen malli

Yleinen tavoite kokeellisessa Bayes-mallissa on maksimoida odotettu RCL pre- ja posterior-jakaumien välillä. [13] Kun posteriori approksimoidaan Gaussin jakaumaan, mallia, joka maksimoi odotetun RCL:n, kutsutaan Bayesin d-optimaaliksi .

Erottuvat tiedot

Kullback-Leibler-etäisyys voidaan tulkita myös odotetuksi erottavaksi informaatioksi yli : keskimääräinen tieto näytettä kohti erolle hypoteesin hyväksi, hypoteesia vastaan, kun hypoteesi on totta [14] . Toinen Irving John Goodin antama nimi tälle suurelle on kustakin näytteestä odotettu ylimääräinen todistusmassa . $D_{\mathrm {KL} }(p(x\mid H_{1})\parallel p(x\mid H_{0}))$ ${\displaystyle H_{1))$ ${\displaystyle H_{0))$ ${\displaystyle H_{1))$ ${\displaystyle H_{0))$ ${\displaystyle H_{1))$ ${\displaystyle H_{1))$ ${\displaystyle H_{0))$

Odotettu todistuspaino ylityksestä ei ole sama kuin esimerkiksi hypoteesin todennäköisyysjakauman p(H) odotettu informaatiohyöty . ${\displaystyle H_{1))$ ${\displaystyle H_{0))$ $D_{\mathrm {KL} }(p(x\mid H_{1})\parallel p(x\mid H_{0}))\neq IG=D_{\mathrm {KL} }(p( H\mid x)\rinnakkais p(H\mid I)).$

Kumpaa tahansa näistä kahdesta suureesta voidaan käyttää hyödyllisyysfunktiona Bayesin kokeellisessa muodossa optimaalisen seuraavan kysymyksen valitsemiseksi tutkittavaksi, mutta yleensä ne johtavat pikemminkin erilaisiin kokeellisiin strategioihin.

Tiedon vahvistuksen entropia-asteikolla on hyvin vähän eroa lähes varmuuden ja täyden varmuuden välillä – lähes varmuuden koodaus ei todennäköisesti vaadi enempää bittejä kuin täyden varmuuden koodaus. Toisaalta todisteiden paino on implisiittinen logit - asteikolla, ja ero näiden kahden välillä on valtava, lähes ääretön. Tämä saattaa heijastaa eroa sen välillä, että ollaan melkein varmoja (todennäköisyystasolla), esimerkiksi siitä, että Riemannin hypoteesi on totta, ja sen välillä, että on täysin varma, että se on totta, koska on olemassa matemaattinen todiste. Kaksi erilaista epävarmuusasteikkoa ovat hyödyllisiä sen mukaan, kuinka hyvin kumpikin heijastaa ongelmassa tarkasteltavan ongelman erityisolosuhteita.

Vähimmäistunnistetietojen periaate

Ajatus RKL:stä syrjivänä tiedona sai Kullbackin ehdottamaan vähimmäissyrjintätiedon periaatetta (MDI ) : uudet tosiasiat huomioon ottaen on valittava uusi jakelu niistä, joita on vaikea erottaa alkuperäisestä jakelusta ; koska uusi data tuottaa mahdollisimman vähän tietoa . $f$ ${\displaystyle f_{0))$ $D_{KL}(f\parallel f_{0})$

Esimerkiksi, jos meillä on aikaisempi jakauma yli ja , ja sitten tutkia todellista jakaumaa ja . RCL uuden yhteisjakelun ja , , ja vanhan aikaisemman jakelun välillä olisi: $p(x,a)$ $x$ $a$ $a$ $u(a)$ $x$ $a$ $q(x\mid a)u(a)$ $D_{\mathrm {KL} }(q(x\mid a)u(a)\parallel p(x,a))=\operaattorin nimi {E} _{u(a)}\{D_{\ mathrm {KL} }(q(x\mid a)\parallel p(x\mid a))\}+D_{\mathrm {KL} }(u(a)\parallel p(a)),$

eli päivitetyn jakauman aikaisemman jakauman RKL:n summa plus edellisen ehdollisen jakauman RKL:n odotusarvo (käytetty todennäköisyysjakauma ) uudesta jakaumasta . (Huomaa, että usein myöhempää odotettua arvoa kutsutaan ehdolliseksi RKL:ksi (tai ehdolliseksi suhteelliseksi entropiaksi) ja se merkitään [15] . Tämä minimoi jos kokonaissisällön yli . Ja huomaamme, että tämä tulos yhdistää Bayesin lauseen, jos uusi jakauma on todellakin funktio, joka edustaa luotettavasti , jolla on yksi tietty arvo. $p(a)$ $a$ $u(a)$ $u(a)$ $p(x\mid a)$ $p(x\mid a)$ $D_{KL}(q(x\mid a)\parallel p(x\mid a))$ $q(x\mid a)=p(x\mid a)$ $u(a)$ $u(a)$ $a$

Minimum Distinguishing Information voidaan nähdä Laplacen välinpitämättömyyden periaatteen (tunnetaan myös nimellä riittämättömän syyn periaate) ja Jaynesin maksimientropiaperiaatteen jatkeena . Erityisesti se on luonnollinen laajennus maksimientropiaperiaatteelle diskreetistä jatkuvaan jakaumaan, jolle Shannonin entropia ei ole kovin kätevää (katso differentiaalientropia ), mutta RCL on edelleen yhtä tärkeä.

Teknisessä kirjallisuudessa MDI:tä kutsutaan joskus minimiristientropiaperiaatteeksi . RCL : n minimointi suhteessa kohtaan vastaa ristientropian ja minimointia , joten mikä on sopivaa, jos yrittää valita tarkka likimääräinen arvo . $m$ $s$ $m$ $s$ $m$ $H(p,m)=H(p)+D_{\mathrm {KL} }(p\parallel m),$ $s$

Käyttöesimerkki

Olkoon, että jonkin satunnaismuuttujan jakaumasta otoksen perusteella on palautettava sen jakauman tiheys parametriperheen muodossa , jossa on funktion argumentti, on tuntematon parametri. Parametriestimaatti voidaan löytää ratkaisuna Kullback-Leibler-etäisyyden minimoimiseen tiheyden ja empiirisen jakautumistiheyden välillä, jota pidetään "tosi", ${\displaystyle x_{1},x_{2},\dotsc ,x_{n))$ $f(x,\theta )$ $x\in X\subseteq R$ $\theta$ $\theta$ $f(x,\theta )$

{\hat {f}}(x)={\frac {1}{n}}\sum \limits _{i=1}^{n}\mathbf {\delta } (x-x_{i})

missä on Dirac-funktio : $\delta$

{\hat {\theta }}=\operaattorinimi {arg} {\underset {\theta }{\operaattorinimi {min} }}D_{KL}({\hat {f}}(x),f(x,\ theta ))=\operaattorinimi {arg} {\underset {\theta }{\operaattorinimi {max} }}\int \limits _{X}^{}{\hat {f}}(x)\ln f(x ,\theta )\,dx=\operaattorinimi {arg} {\underset {\theta }{\operaattorinimi {max} }}\sum \limits _{i=1}^{n}\mathbf {\ln } f( x_{i},\theta )

On helppo nähdä, että tämän ongelman ratkaisu johtaa parametrin maksimitodennäköisyysarvioon . Jos satunnaismuuttujan todellinen jakautumistiheys ei kuulu perheeseen , löydettyä parametriestimaattia kutsutaan kvasi-todennäköisyydeksi ja se tarjoaa parhaan likiarvon näytteen edustamasta todellisesta jakaumasta kullback-Leibler-etäisyydellä mitattuna tiheydeltään. . $\theta$ $f(x,\theta )$ ${\hattu {\theta ))$ $\theta$ $f(x,\theta )$

Muistiinpanot

↑ 1 2 Kullback S. Informaatioteoria ja tilastot. - John Wiley & Sons, 1959.
↑ Kullback S., Leibler R. A. Tiedosta ja riittävyydestä // The Annals of Mathematical Statistics. 1951.V.22. Nro 1. S. 79-86.
↑ MacKay, David JC Tietoteoria, päättely ja oppimisalgoritmit. - Ensimmäinen painos. - Cambridge University Press, 2003. - C. s. 34.
↑ Bishop C. Pattern Recognition and Machine Learning. - 2006. - S. p. 55.
↑ Hobson, Arthur. Käsitteet tilastomekaniikassa. Gordon ja Breach. - New York, 1971. - ISBN 0677032404 .
↑ Baez, John; Fritz, Tobias. Kategorioiden teoria ja soveltaminen 29.-C. "Suhteellisen entropian bayesilainen karakterisointi", s. 421-456..
↑ I.N. Sanov. Satunnaismuuttujien suurten poikkeamien todennäköisyydestä. - 1957. - S. 11-44.
↑ Novak SY Extreme Value Methods with Applications to Finance ch. 14.5. - Chapman & Hall. - 2011. - ISBN 978-1-4398-3574-6 .
↑ Suhteellinen entropia . videolectures.net. Haettu 14. kesäkuuta 2016. Arkistoitu alkuperäisestä 25. joulukuuta 2018. (määrätön)
↑ Duchi J. "Johdannat lineaarista algebraa ja optimointia varten". - S. 13 .
↑ Rényi A. Todennäköisyysteoria. - 1970. - ISBN 0-486-45867-9 ..
↑ Rényi, A. "Entropia- ja informaatiomittauksista". - 4. Berkeley Symposium on Mathematics, Statistics and Probability 1960, 1961. - s. 547–561.
↑ Chaloner, K.; Verdinelli, I. "Bayesilainen kokeellinen suunnittelu: katsaus". — Tilastotiede 10, 1995. — 273–304 s.
↑ Paina, W.H.; Teukolsky, SA; Vetterling, WT; Flannery, B. P. (2007). "Osa 14.7.2. Kullback–Leibler Etäisyys". Numeeriset reseptit: Tieteellisen laskennan taito (3. painos). Cambridge University Press. ISBN 978-0-521-88068-8 . .
↑ Thomas M. Kansi, Joy A. Thomas. Tietoteorian elementit . - John Wiley & Sons. - 1991. - S. s. 22.