Kielen entropia

Kielen entropia on tietyllä kielellä olevan tekstin tai itse kielen tilastollinen funktio , joka määrittää tiedon määrän tekstiyksikköä kohti.

Matemaattisesta näkökulmasta kielen entropia määritellään seuraavasti

r = H \vasen( M \oikea) / N

missä on viesti, onko sen entropia , on viestin pituus. $M$ $H \vasen( M \oikea)$ $N$

Claude Shannonin ja Thomas Coverin ( engl. Thomas Cover ) mukaan englannin kielellä tämä arvo on 1,3–2,3 bittiä per kirjain.

Kirjallisuus

Schneier B. Luku 11. Matemaattiset perusteet. Kielen entropia. // Sovellettu kryptografia. Protokollat, algoritmit, lähdekoodi C-kielellä = Applied Cryptography. Protokollat, algoritmit ja lähdekoodi julkaisussa C. - M. : Triumf, 2002. - P. 269. - 816 s. - 3000 kappaletta. - ISBN 5-89392-055-4 .
CE Shannon . Ennustus ja entropia painetun englannin (englanniksi) // Bell Systems Technical Journal. - 1951. - Voi. 30 . - s. 50-64 . Arkistoitu alkuperäisestä 5. helmikuuta 2007.
Cover, T. , King, R. Konvergentti uhkapeliarvio entropian englannista // Information Theory, IEEE Transactions on. - 1978. - T. 24 , no. 4 . - S. 413 - 421 . — ISSN 0018-9448 .