Tietoteorian kehityksen aikajana

Tietoteoriaan , tiedon pakkaamiseen , virheenkorjauskoodeihin ja niihin liittyviin tieteenaloihin liittyvien tapahtumien aikajana :

• 1872  - Ludwig Boltzmann esittää H-lauseen ja sen mukana kaavan Σ p i log p i yksittäisen kaasuhiukkasen entropialle.

• 1878  - Josiah Willard Gibbs määrittelee Gibbsin entropian : entropiakaavan todennäköisyydet otetaan nyt koko järjestelmän tilan todennäköisyyksiksi.

• 1924  - Harry Nyquist puhuu "älykkyyden" määrittämisestä ja nopeudesta, jolla se voidaan välittää viestintäjärjestelmän avulla.

• 1927  - John von Neumann määrittelee von Neumannin entropian laajentaen Gibbsin entropiaa kvanttimekaniikassa.

• 1928  - Ralph Hartley esittelee Hartleyn kaavan mahdollisten viestien lukumäärän logaritmina, ja tiedot välitetään, kun vastaanottaja (vastaanotin, vastaanottaja) voi erottaa yhden merkkisarjan muista (riippumatta siihen liittyvästä arvosta).

• 1929  - Leo Szilard analysoi Maxwellin demonia ja näyttää, kuinka Szilard-moottori voi toisinaan muuntaa tiedon hyödylliseksi työksi.

• 1940  – Alan Turing esittelee desibanin tietoyksikkönä saksalaisessa Enigma-koneessa , jonka asetukset on salattu Banburismus- prosessilla .

• 1944 - Claude Shannonin  informaatioteoria on suurelta osin valmis.

• 1947  – Richard Hamming keksi Hamming-koodin virheiden havaitsemiseksi ja korjaamiseksi, mutta julkaisee ne vasta vuonna 1950.

• 1948  - Claude Shannon julkaisee viestintäteorian

• 1949  - Claude Shannon julkaisee Communication of Information as Noise , joka kuvaa näytteenottolausetta ja Shannon-Hartley -lausetta .

• 1949 - Claude Shannonin salaisten järjestelmien viestintäteorian  luokitus poistetaan .

• 1949  - Robert Fano julkaisi raportin, jossa Claude Shannonista riippumatta kuvataan Shannon-Fano-algoritmi .

• 1949 - Kraft-McMillan Inequality  julkaistiin .

• 1949  - Marcel Golay esittelee Golay-koodit virheiden korjaamiseksi ennaltaehkäisevää menetelmää käyttäen .

• 1950  – Richard Hamming julkaisee Hamming-koodeja ennaltaehkäisevään virheenkorjaukseen .

• 1951  – Solomon Kullback ja Richard Leibler esittelevät Kullback-Leibler-etäisyyden käsitteen .

• 1951  - David Huffman keksi Huffman- koodauksen , menetelmän optimaalisen etuliitekoodin löytämiseksi häviöttömään tiedonpakkaukseen.

• 1953  - Sardinas-Patterson-algoritmi julkaistiin .

• 1954  – Irving S. Reed ja David E. Muller esittelevät Reed-Muller- koodit .

• 1955  - Peter Elias esittelee konvoluutiokoodit .

• 1957  - Eugene Prange käsittelee ensimmäisen kerran syklistä redundanssikoodia .

• 1959  - Alexis Hockwingham ja itsenäisesti seuraavana vuonna Raj Chandra Bose ja Dwijendra Kamar Ray-Chowdhury esittelevät Bowes-Chowdhury-Hokvingham-koodit (BCH-koodit) .

• 1960  - Irving Reed ja Gustav Solomon ottavat käyttöön Reed-Solomon -koodit .

• 1962  – Robert Gallagher ehdottaa koodia, jossa on alhainen pariteettitarkistustiheys ; niitä ei käytetty 30 vuoteen teknisten rajoitusten vuoksi.

• 1966  - David Fornayn artikkeli ketjutettu virheenkorjauskoodi julkaistiin .

• 1967  – Andrew Viterbi löytää Viterbi-algoritmin , joka mahdollistaa konvoluutiokoodien purkamisen.

• 1968  - Alvin Berlekamp keksi Berlekamp-Massey-algoritmin ; sen soveltaminen BCH-koodien ja Reed-Solomon-koodin dekoodaukseen, jonka James Massey huomautti seuraavana vuonna.

• 1968  - Chris Wallis David M. Bouton julkaisevat ensimmäisen monista julkaisuista, jotka käsittelevät viestin vähimmäispituutta (MLM)  - niiden tilastollista ja induktiivista johtamista.

• 1972 - Justesen-koodia  koskeva artikkeli julkaistiin .

• 1973  - David Slepian ja Jack Wolf löytävät ja todistavat Slepian-Wolf Coden , joka koodaa hajautetun koodauslähteen rajat .

• 1976  - Gottfried Ungerboek julkaisee ensimmäisen artikkelin Trellis-modulaatiosta .

• 1976  - Jorma Rissanen kehittää ja myöhemmin patentoi aritmeettista koodausta IBM: lle .

• 1977  - Abraham Lempel ja Yaakov Ziv kehittävät Lempel-Ziv- pakkausalgoritmin (LZ77)

• 1982  - Gottfried Ungerboek julkaisee yksityiskohtaisemman kuvauksen Trellis-modulaatiosta , mikä johtaa vanhan perinteisen puhelinpalvelun analogisen modeemin nopeuden kasvuun 9,6 kbps:stä 36 kbps:iin.

• 1989  - Phil Katz luo .zip-muodon, mukaan lukien DEFLATE - pakkausmuodon ( LZ77 + Huffman - koodaus); tästä tulee myöhemmin laajimmin käytetty häviötön pakkausalgoritmi.

• 1993  - Claude Burrow , Alain Glaviux ja Punya Thitimajshima ottavat käyttöön Turbo-koodien käsitteen .

• 1994  - Michael Burrows ja David Wheeler julkaisivat Burrows-Wheeler-muunnosteorian , joka löytää myöhemmin sovelluksensa bzip2 :ssa .

• 1995  - Benjamin Schumacher loi termin Qubit .

• 1998 Fountain Code  ehdotettu .

• 2001 - Statistical Lempel–Ziv  -algoritmi kuvataan .

• 2008  - Erdal Arıkan ehdotti napakoodeja .

Kotimaisten tutkijoiden panos informaatioteoriaan

• Markovin ketjun käsite kuuluu venäläiselle matemaatikolle A. A. Markoville , jonka ensimmäiset artikkelit tästä aiheesta kieliongelmien ratkaisemisessa julkaistiin vuosina 1906-1908 .

• 1933  - Akateemikko V. A. Kotelnikov todisti kuuluisan näytteenottolauseen .

• 1947  - V. A. Kotelnikov loi teorian mahdollisesta melunsietokyvystä. Potentiaalisen kohinansietokyvyn teoria mahdollisti optimaalisten laitteiden syntetisoinnin minkä tahansa signaalin käsittelemiseksi kohinan läsnä ollessa. Siinä oli kaksi osaa - teoria diskreettien ja analogisten signaalien vastaanottamisesta.

• 1948-1949 - Amerikkalainen tiedemies Claude Shannon loi informaatioteorian  perustan . Neuvostoliiton tiedemiehet A. N. Kolmogorov ja A. Ya osallistuivat sen teoreettisiin osiin .

• 1950  - Verrattaessa tiettyjä koodeja optimaalisiin, R. R. Varshamovin tuloksia käytetään laajalti . V. I. Levenshtein ja V. M. Sidelnikov asettivat mielenkiintoisia uusia rajoja virheenkorjausmahdollisuuksille .

• 1956  - Tarvittiin matemaattista työtä, joka loi informaatioteorian matemaattisen perustan. Ongelma ratkaistiin A. N. Kolmogorovin tunnetulla raportilla Neuvostoliiton tiedeakatemian istunnossa, joka oli omistettu tuotannon automatisoinnille. A. Ya. Khinchinin ensimmäiset uraauurtavat teokset oli omistettu informaatioteorian peruslauseiden todistamiseen diskreetille tapaukselle.

• 1957  - kun A. N. Kolmogorov tutki kuuluisaa Hilbertin ongelmaa superpositioista, hän ei ainoastaan ​​osoittanut mahdollisuutta esittää mikä tahansa jatkuva funktio kolmen muuttujan jatkuvien funktioiden superpositiona, vaan loi myös menetelmän, jonka avulla hänen opiskelijansa V. I. Arnold pystyi vähentämään funktioiden määrää. muuttujat kahteen ja siten ratkaista mainitun ongelman.

• 1958  - A. N. Kolmogorov . Transitiivisten dynaamisten järjestelmien ja Lebesgue -avaruuksien automorfismien uusi metrinen invariantti DAN SSSR. Erittäin tärkeitä ja hedelmällisiä mahdollisuuksia soveltaa entropian käsitettä dynaamisten järjestelmien isomorfismin ongelmaan.

• 1958  - I. M. Gelfand , A. N. Kolmogorov , A. M. Yaglom raportti "Tiedon määrä ja entropia jatkuville jakaumille." - Kirjassa: Tr. III Koko unionin matematiikka. kongressi. M.: Neuvostoliiton tiedeakatemian kustantamo.

Huomioimme myös kiinalaisen tiedemiehen Hu Guo Dingin työn , joka oli tuolloin koeajalla Moskovan yliopistossa.

• 1961  - Hu Guo Ding . Kolme käänteistä lausetta Shannonin teoreemaan informaatioteoriassa.

• 1962  - Hu Guo Ding . Kanavasarjan tiedon stabiilisuudesta. Todennäköisyysteoria ja sen sovellukset.

• 1965 - A. A. Kharkevichin  aloitteesta luotu "Problems of Information Transmission" -lehden ensimmäinen numero julkaistiin .

• 1966  - Stratonovich R. L. , Grishanin B. A. "Tiedon arvo, kun on mahdotonta tarkkailla arvioitua satunnaismuuttujaa suoraan."

• 1968  - Stratonovich R. L., Grishanin B. A. "Peliongelmat tietotyyppirajoitusten kanssa."

• 1960-luvun lopulla kehitettiin Vapnik-Chervonenkis-teoria , V. N. Vapnikin ja A. Ya. Chervonenkiksen kehittämä tilastollinen riippuvuuden palautumisen teoria .

• 1970  - Goppa V.D. ehdotti Goppa-koodeja .

• 1972  – Solev V. N. Yhden Gaussin kiinteän prosessin sisältämän tiedon keskimääräinen määrä aikayksikköä kohti suhteessa toiseen.