Tiedon määrä

Kokeneet kirjoittajat eivät ole vielä tarkistaneet sivun nykyistä versiota, ja se voi poiketa merkittävästi 8. lokakuuta 2016 tarkistetusta versiosta . tarkastukset vaativat 3 muokkausta .

Tiedon määrä informaatioteoriassa on informaation määrä satunnaisessa objektissa suhteessa toiseen.

Antaa ja olla satunnaismuuttujia, jotka on määritelty vastaaville joukoille ja . Tällöin tiedon määrä on suhteessa a priori ja a posteriori entropioiden eroon: $x$ $y$ $X$ $Y$ $x$ $y$

{\näyttötyyli I(x,y)=H(x)-H(x|y)}

,

missä

H(x)=-\sum _{x\in X}p(x)\log _{2}p(x)

H(x|y)=-\sum _{y\in Y}p(y)\sum _{x\in X}p(x|y)\log _{2}p(x|y) )

- ehdollinen entropia, tiedonsiirron teoriassa se kuvaa kanavan kohinaa.

Entropy Properties

Entropialla on seuraavat ominaisuudet:

0\leqslant H(x)\leqslant \ln(m)

,

missä on joukon alkioiden lukumäärä . $m$ $X$

$H(x) = 0$ , jos yksi joukon elementeistä toteutuu todennäköisyydellä 1 ja loput vastaavasti 0, johtuen siitä, että ja . $1\ln 1=0$ $0\ln 0=0$

Entropian maksimiarvo saavutetaan, kun kaikki ts. kaikki tulokset ovat yhtä todennäköisiä. $H(x)=\ln(m)$ $p(x)=1/m$

Ehdollisella entropialla on seuraavat ominaisuudet:

0\leqslant H(x|y)\leqslant H(x)

,

Tässä tapauksessa , jos kartoitus on yksiarvoinen, ts. . $H(x|y)=0$ $Y$ $X$ $\forall y\exists x\colon p(x|y)=1$

Ehdollisen entropian maksimiarvo saavutetaan, kun ja ovat riippumattomia satunnaismuuttujia. $H(x|y)=H(x)$ $x$ $y$

Tietomäärän ominaisuudet

Tietomäärän suhteen ominaisuudet ovat totta:

I(x,y)=I(y,x),

Bayesin lauseen seurauksena .

I(x,y)\geqslant 0,

I(x,y)=0,

jos ja ovat riippumattomia satunnaismuuttujia.

x

y

I(x,x)=H(x).

Viimeinen ominaisuus osoittaa, että tiedon määrä on yhtä suuri kuin tiedon entropia , jos informaatiohäviökomponentti (kohina) on nolla.

Kirjallisuus

Yaglom A.M. , Yaglom I.M. Todennäköisyys ja tiedot. - M. , 1973.