Chernovin pisteet

Tšernovin estimaatti antaa eksponentiaalisesti pieneneviä arvioita riippumattomien satunnaismuuttujien summien suurten poikkeamien todennäköisyydestä . Nämä arviot ovat tarkempia kuin estimaatit, jotka on saatu käyttämällä ensimmäistä tai toista momenttia, kuten Markovin epäyhtälö tai Tšebyševin epäyhtälö , jotka antavat vain pienenemisen potenssilain . Samaan aikaan Tšernovin estimaatti edellyttää, että satunnaismuuttujat ovat riippumattomia aggregaatissa, jota ei edellytä Markovin epäyhtälö eikä Tšebyševin epäyhtälö, vaikka Tšebyshevin epäyhtälö edellyttää satunnaismuuttujien parittaista riippumattomuutta .

Tšernovin arvio liittyy Bernsteinin epätasa-arvoon ja Höfdingin epätasa-arvoon , jotka edeltävät sitä historiallisesti.

Perustapaus

Tšernov-estimaatin päätapaus satunnaismuuttujalle saavutetaan soveltamalla Markovin epäyhtälöä e tX :ään [1] . Kaikille

Kun X on n satunnaismuuttujan summa X 1 , ... , X n , mille tahansa

Erityisesti optimoimalla t :n suhteen ja olettaen, että X i ovat riippumattomia, saamme

(yksi)

samoin

ja näin,

Tšernovin arvioiden erityisarvot saadaan laskemalla tietyille määrille .

Esimerkki

Olkoon X 1 , ..., X n riippumattomia Bernoullin satunnaismuuttujia, joiden summa on X ja jokainen on yhtä suuri todennäköisyydellä 1 . Bernoulli-muuttujan osalta seuraava on totta:

Näin ollen

Kaikille ja , saamme

,

ja Chernoffin arvion yleinen tapaus antaa [2] :64

Yli n /2 tapahtuman samanaikaisen esiintymisen todennäköisyys { X k = 1 } on täsmälleen yhtä suuri kuin:

Tämän todennäköisyyden alempi arvio voidaan laskea käyttämällä Chernoffin epäyhtälöä:

Todellakin, merkitsemällä μ = np , saamme Chernoff-estimaatin kertovan muodon (katso alla tai johtopäätös 13.3 Sinclairin luokkamuistiinpanoissa) [3] :

Tämä tulos sallii useita yleistyksiä, kuten alla on todettu. Chernoff-estimaateista voidaan havaita useita muotoja: alkuperäinen additiivinen muoto (antaa arvion absoluuttiselle virheelle ) tai käytännöllisempi kertova muoto (rajaa virhettä suhteessa keskiarvoon).

Additiivinen muoto (absoluuttisen virheen arviointi)

Wassily Hoefding [4] osoitti seuraavan lauseen .

Chernov-Hoefdingin lause . Olkoon X 1 , ..., X n riippumattomia identtisesti jakautuneita satunnaismuuttujia, joiden arvot ovat {0, 1}. Olkoon p = E[ X ] ja ε > 0 . Sitten missä Tämä on Kullback-Leiblerin ero satunnaismuuttujien välillä, joilla on Bernoulli-jakauma parametreilla x ja y . Jos pyksi2, sitten

Yksinkertaisempi estimaatti saadaan heikentämällä tätä lausetta käyttämällä epäyhtälöä D ( p + ε || p ) ≥ 2 ε 2 , joka seuraa D ( p + ε || p ) konveksiteetista ja siitä, että

Tämä tulos on Hoefdingin epätasa-arvon erikoistapaus . Joissakin tapauksissa käytetään arvioita

vahvempi p <yksikahdeksan.

Kertova muoto (arvio suhteellisesta virheestä)

Kertomainen Chernov-arvio . Olkoon X 1 , ..., X n itsenäisiä satunnaismuuttujia, joiden arvot ovat { 0, 1}. Merkitään niiden summaa X , merkitään tämän summan odotus arvolla μ . Sitten jokaiselle

Samalla tavalla sen voi osoittaa kenelle tahansa

Käytännössä yllä oleva kaava osoittautuu usein hankalaksi [2] , joten käytetään heikompia mutta käteviä arvioita

jotka saadaan käyttämällä epäyhtälöä logaritmien epäyhtälöiden luettelosta [5] . Tai vielä heikompi eriarvoisuus

Sovellukset

Tšernovin arvioissa on sovelluksia joukon tasapainottamiseen ja pakettien reitittämiseen harvassa verkossa .

Joukkotasapainotuksen ongelma nousee esiin tilastollisen kokeen suunnittelussa . Tyypillisesti, kun suunnitellaan tilastollista koetta kyseisessä kokeessa annetuilla osallistujaominaisuuksilla, meidän on jaettava osallistujat kahteen ei-päällekkäiseen ryhmään, jotta jokainen ominaisuus on mahdollisimman tasapainossa näiden kahden ryhmän välillä. Katso myös Probability and Computing: Randomized Algorithms and Probabilistic Analysis Arkistoitu 16. huhtikuuta 2021 Wayback Machinessa .

Chernoff-estimaatteja käytetään myös kovien rajojen saavuttamiseen reititysongelmissa käyttämällä permutaatioita. Tämä vähentää reititysruuhkaa harvoissa verkoissa . Katso lisää artikkelista Probability and Computing: Randomized Algorithms and Probabilistic Analysis Arkistoitu 16. huhtikuuta 2021 Wayback Machinessa .

Myös Chernoff-estimaatteja käytetään laskennallisen oppimisen teoriassa todistamaan, että oppimisalgoritmi on todennäköisyydellä likimäärin oikea . Eli suurella todennäköisyydellä tässä algoritmissa on pieni virhe riittävän suuressa harjoitusdatajoukossa [6] .

Chernoff-pisteitä voidaan käyttää tehokkaasti arvioimaan sovelluksen/algoritmin " vahvuustasoa " tutkimalla sen häiriöavaruutta satunnaistuksen avulla. [7]

Matriisipisteet

Rudolf Ahlswede ja Andreas Winter käyttivät Chernoff-estimaatteja satunnaismuuttujille matriisiarvoilla. [8] Seuraava versio epätasa-arvosta löytyy Troppin työstä. [9]

Olkoon M 1 , ..., M t satunnaismuuttujia, joiden matriisiarvot ovat sellaisia, että ja . Merkitse matriisinormioperaattoria . Jos epäyhtälö pätee lähes varmasti kaikille , niin jokaiselle ε > 0

Päätelläksemme, että poikkeamaa 0:sta rajoittaa ε suurella todennäköisyydellä, meidän on valittava (näytteiden lukumäärä) verrannollinen logaritmiin . Yleisessä tapauksessa riippuvuus ei ole ilmeinen: ota esimerkiksi diagonaalinen satunnaismatriisi dimensioiden merkeistä . Riippumattoman otosnormin operaattorin summa on täsmälleen suurin poikkeama riippumattomien satunnaisten pituuksien välillä . Saavuttaakseen enimmäispoikkeaman kiinteän rajan vakiolla todennäköisyydellä, on nostettava logaritmisesti kanssa . [kymmenen]

Seuraava lause on johdettu sillä oletuksella, että sen arvo on alhainen ulottuvuusriippuvuuden välttämiseksi.

Lause ilman mittariippuvuutta

Olkoon 0 < ε < 1 ja se on satunnainen symmetrinen reaalimatriisi, jossa ja lähes varma. Oletetaan, että jokaisella kantoaaltoelementillä on korkeintaan arvo . Laitetaan

Jos melkein varmasti, niin

missä M 1 , ..., M t ovat itsenäisiä identtisesti jakautuneita kopioita .

Lause ei täysin satunnaisille matriiseille

Ankit Garg, Yin Tat Lee, Zhao Song ja Nikhil Srivastava [11] saivat Chernoff-tyyppiset estimaatit matriisiarvoisten satunnaismuuttujien summille, jotka on otettu näytteiden avulla laajentajalla satunnaiskävelyllä .

Rasmus King ja Zhao Song [12] saivat Chernov-tyyppiset estimaatit satunnaisten puiden Laplacian matriisien summille.

Näytteenottomuunnelma

Seuraavaa Chernoffin estimaatin versiota voidaan käyttää arvioimaan todennäköisyyttä, että suurin osa väestöstä jää vähemmistöön otoksessa ja päinvastoin. [13]

Oletetaan, että on olemassa yleinen populaatio ja osapopulaatio . Merkitään osajoukon ( ) suhteellinen koko merkillä .

Oletetaan, että valitsemme kokonaisluvun hapan ja satunnaisen otoksen , jonka koko on . Merkitään osajoukon ( ) suhteellinen koko merkillä .

Sitten jokaisesta osakkeesta :

Erityisesti, jos ─ on enemmistö (eli ), niin voimme arvioida ylhäältä todennäköisyyden, että se pysyy enemmistönä otettaessa [14] :

Tämä arvio ei tietenkään pidä paikkaansa. Esimerkiksi jos , niin saamme triviaalin arvion .

Todisteet

Chernov-Hoefdingin lause (additiivinen muoto)

Olkoon q = p + ε . Ottamalla a = nq kaavassa (1) saamme:

Nyt kun tiedämme, että Pr( Xi = 1 ) = p , Pr( Xi = 0 ) = 1 − p , meillä on

Joten voimme helposti laskea minimin käyttämällä differentiointitekniikkaa:

Tasaamalla tuloksena olevan lausekkeen nollaan ja ratkaisemalla yhtälön suhteessa , saamme

niin

Näin ollen

Koska q = p + ε > p , näemme, että t > 0 , joten arviomme täyttyy t :llä . Kun meillä on t , voimme palata edellisiin yhtälöihin ja etsiä

Meillä on nyt haluttu tulos, koska

Todistuksen täydentämiseksi symmetrisessä tapauksessa määritämme yksinkertaisesti satunnaismuuttujan Y i = 1 − X i , käytämme siihen täsmälleen samaa todistusta ja lisäämme tuloksen estimaatiimme.

Kertova muoto

Olkoon Pr( Xi = 1 ) = p i . Kaavan (1) mukaan

Kolmas rivi seuraa siitä, että se saa arvon e t todennäköisyydellä p i ja arvon 1 todennäköisyydellä 1 − p i . Tämä on identtinen lisäainemuodon todistuksessa olevien laskelmien kanssa.

Kirjoittamalla uudelleen muotoon ja muistaen, että (jos x > 0 , niin epäyhtälö on tiukka), asetamme . Sama tulos voidaan saada korvaamalla a Chernoff-estimaattorissa suoraan arvolla (1 + δ ) μ . [viisitoista]

Tällä tavalla,

Jos laitamme vain t = ln(1 + δ ) niin, että t > 0 arvolle δ > 0 , voimme liittää sen viimeiseen lausekkeeseen ja löytää

,

Q.E.D.

Katso myös

Linkit

  1. Sergei Bernstein käytti tätä menetelmää ensimmäisenä Bernsteinin epäyhtälöihin liittyvissä todisteissa .
  2. 1 2 Mitzenmacher, Michael ja Upfal, Eli. Todennäköisyys ja laskeminen: satunnaistetut algoritmit ja todennäköisyysanalyysi . - Cambridge University Press, 2005. - ISBN 978-0-521-83540-4 . - doi : 10.1017/CBO9780511813603.005 . Arkistoitu 16. huhtikuuta 2021 Wayback Machinessa
  3. Sinclair, Alistair Luokan muistiinpanot kurssille "Satunnaisuus ja laskeminen" (linkki ei saatavilla) (syksy 2011). Haettu 30. lokakuuta 2014. Arkistoitu alkuperäisestä 31. lokakuuta 2014. 
  4. Hoeffding, W. (1963). "Rajattujen satunnaismuuttujien summien todennäköisyysepäyhtälöt" (PDF) . American Statistical Associationin lehti . 58 (301): 13-30. DOI : 10.2307/2282952 . JSTOR  2282952 .
  5. Hyödyllisiä epätasa-arvoja . logaritmi . Haettu 13. toukokuuta 2020. Arkistoitu alkuperäisestä 19. elokuuta 2020.
  6. M. Kearns, U. Vazirani. Johdatus laskennalliseen oppimisen teoriaan. Luku 9 (Liite), sivut 190-192. MIT Press, 1994.
  7. C.Alippi: Luku "Satunnaistetut algoritmit" julkaisussa Intelligence for Embedded Systems. Springer, 2014, 283 s . ISBN 978-3-319-05278-6 .
  8. Ahlswede, R.; Winter, A. (2003). "Vahva keskustelu kvanttikanavien tunnistamiseen". IEEE Transactions on Information Theory . 48 (3): 569-579. arXiv : quant-ph/0012127 . DOI : 10.1109/18.985947 .
  9. Tropp, J. (2010). "Käyttäjäystävälliset loppurajat satunnaismatriisien summille". Laskennallisen matematiikan perusteet . 12 (4): 389-434. arXiv : 1004.4389 . DOI : 10.1007/s10208-011-9099-z .
  10. Magen, A. & Zouzias, A. (2011), Low Rank Matrix-valued Chernoff Bounds and Approximate Matrix Multiplication, arΧiv : 1005.2724 [cs.DM]. 
  11. Ankit Garg, Yin Tat Lee, Zhao Song, Nikhil Srivastava. Matrix Expander Chernoff Bound  // Association for Computing MachineryNew YorkNYYhdysvallat. — 2018. Arkistoitu 14. huhtikuuta 2021.
  12. Rasmus Kyng, Zhao Song. Matrix Chernoff Bound for Strongly Rayleigh -jakaumia ja spektrihajottajat muutamasta satunnaisesta ulottuvasta puusta  // FOCS. - 2018 - 1. lokakuuta. Arkistoitu alkuperäisestä 22. huhtikuuta 2021.
  13. Goldberg, AV :n kilpailevat huutokaupat useille digitaalisille tuotteille // Algoritmit - ESA 2001 / AV Goldberg, JD Hartline. - 2001. - Voi. 2161. - s. 416. - ISBN 978-3-540-42493-2 . - doi : 10.1007/3-540-44676-1_35 . ; Lemma 6.1
  14. Näytä kaaviot: Raja muuttuvan k :n funktiona Arkistoitu 4. tammikuuta 2015 Wayback Machinessa ja Frontier funktiona k muuttuvalla r:llä Arkistoitu 4. tammikuuta 2015 Wayback Machinessa .
  15. Katso yllä olevaa todistusta.

Lue lisää