Kielen absoluuttinen entropia

Kielen absoluuttinen entropia on arvo, joka on yhtä suuri kuin enimmäisinformaatio , jonka tietyn kielen yksikkö voi lähettää . Tietoteoriassa kieliyksikkö ymmärretään yleensä yhdeksi vastaavan aakkoston symboliksi (kirjaimeksi), ja absoluuttinen entropia lasketaan sillä ehdolla, että kaikki symbolisarjat ovat yhtä todennäköisiä.

Jos kielen aakkosissa käytetään eri kirjaimia, kielen absoluuttinen entropia ( bittiä kirjainta kohti) voidaan laskea seuraavasti: $L$

R=\log _{{2}}{L}

Tämä arvo ei ota huomioon vastaanotettujen "sanojen" mahdollista ääntämättä jättämistä.

Englannin kielellä tämä arvo on noin 4,7 bittiä kirjainta kohden. Tämä arvo on paljon suurempi kuin kielen todellinen entropia , koska englannin kielellä, kuten kaikilla luonnollisilla kielillä, on redundanssia .

Kirjallisuus

Schneier B. Luku 11. Matemaattiset perusteet. Kielen entropia. // Sovellettu kryptografia. Protokollat, algoritmit, lähdekoodi C-kielellä = Applied Cryptography. Protokollat, algoritmit ja lähdekoodi julkaisussa C. - M. : Triumf, 2002. - P. 269. - 816 s. - 3000 kappaletta. - ISBN 5-89392-055-4 .