Epsilonin entropia

Epsilon - entropia tai ε-entropia on termi , jonka A. N. Kolmogorov otti käyttöön kuvaamaan funktioluokkia. Se määrittää funktion monimutkaisuuden mittarin eli funktion tarkkuuden määrittämiseen vaadittavien merkkien vähimmäismäärän. $\varepsilon$

Johdatus käsitteeseen

Tarkastellaan kompaktia metriavaruutta ja määritellään siihen epsilon-verkko eli niin äärellinen (pisteistä koostuva ) joukko, että näihin pisteisiin keskitetyt sädepallot peittävät kokonaan kaiken . Sitten minkä tahansa elementin määrittämiseksi tarkasti (eli itse asiassa yhden verkkosolmun valinta), merkkien järjestys ( bitit ) riittää. $M$ $N(\varepsilon)$ $\varepsilon$ $M$ $M$ $\varepsilon$ $\log _{2}N(\varepsilon )$

Segmentillä arvo kasvaa pienenemällä as , neliön asteikolla jne. Näin ollen osoitin määrittää Minkowski- joukon ulottuvuuden . $M=[0,\;1]$ $N$ $\varepsilon$ $1/\varepsilon$ $1/{\varepsilon ^{2))$ $M$

Tasaisten funktioiden avaruudessa (kompaktissa kuutiossa -ulotteisessa avaruudessa ja derivaatat , joita rajoittaa vakio aina luokkaan asti , jotta tämä avaruus on kompakti), avaruuden ulottuvuus on ääretön, mutta luku verkkoelementtien määrä on äärellinen, vaikka se kasvaa nopeammin kuin mikään :n (negatiivinen) potenssi . $M$ $n$ $s$ $N(\varepsilon)$ $\varepsilon$

Kolmogorov osoitti, että minimiverkon pisteiden lukumäärän logaritmi kasvaa tässä tapauksessa . $N(\varepsilon)$ $\varepsilon$ ${\displaystyle (1/\varepsilon )^{n/p))$

Sovellus

Epsilon-entropian käsitteen käyttöönotto mahdollisti Hilbertin 13. ongelman ymmärtämisen ja ratkaisemisen .

Jos superpositioon osallistuvien muuttujien funktioilla olisi sileys , niin niiden avulla olisi mahdollista saada esitetyille funktioille verkko, jonka pisteiden lukumäärän logaritmi olisi suuruusluokkaa . Jos tämä luku on pienempi kuin pienin mahdollinen sileysmuuttujien funktioille , niin se tarkoittaa, että oletettu esitys näin suuren sileyden funktioiden superpositioiden avulla on mahdotonta. $k$ $s$ ${\displaystyle (1/\varepsilon )^{k/p))$ $n$ $s$

Sitten Kolmogorov osoitti, että jos sileydestä luovutaan ja kaikkien jatkuvien funktioiden annetaan osallistua superpositioon, niin mikä tahansa muuttujien jatkuva funktio esitetään vain kolmen muuttujan jatkuvien funktioiden superpositiolla, ja sen jälkeen hänen oppilaansa V.I. Arnold esitti ne kahden muuttujan jatkuvien funktioiden superpositiot. Tuloksena oli, että Kolmogorovin lause sisälsi yhden kahden muuttujan funktion, summan, ja kaikki muut jatkuvat funktiot, jotka muodostavat superposition, joka edustaa kaikkia muuttujien jatkuvia funktioita, ovat riippuvaisia vain yhdestä muuttujasta. $n$ $n$