Ristien entropia
Tietoteoriassa kahden todennäköisyysjakauman välinen ristientropia mittaa keskimääräistä bittien määrää, joka tarvitaan tapahtuman tunnistamiseen mahdollisuuksien joukosta, jos käytetty koodausmenetelmä perustuu tiettyyn todennäköisyysjakaumaan "todellisen" jakauman sijaan .
Kahden jakauman ja saman todennäköisyysavaruuden poikkientropia määritellään seuraavasti:
,![{\displaystyle \mathrm {H} (p,q){\stackrel {\mathrm {df} }{\;=\;))\mathrm {E} _{p}[-\log q]=\mathrm { H} (p)+D_{\mathrm {KL} }(p\|q)}](https://wikimedia.org/api/rest_v1/media/math/render/svg/297ca493cd066d45a53522626ea06df767af1d35)
missä on entropia ja Kullback -Leiblerin etäisyys pisteestä kohteeseen (tunnetaan myös suhteellisena entropiana ).
Diskreetille ja se tarkoittaa
Jatkuvan jakelun tilanne on samanlainen:
On otettava huomioon, että huolimatta jatkuvien ja diskreettien tapausten funktionaalisten funktioiden muodollisesta analogiasta, niillä on erilaisia ominaisuuksia ja eri merkitys. Jatkuvalla tapauksella on samat ominaispiirteet kuin differentiaalisen entropian käsitteellä .
HUOM : Merkintätapaa käytetään joskus sekä ristientropiaan että yhteisentropiaan ja .
Ristientropian minimointi
Ristientropian minimointia käytetään usein optimoinnissa ja harvinaisten tapahtumien todennäköisyyksien arvioinnissa.