Tšernovin estimaatti antaa eksponentiaalisesti pieneneviä arvioita riippumattomien satunnaismuuttujien summien suurten poikkeamien todennäköisyydestä . Nämä arviot ovat tarkempia kuin estimaatit, jotka on saatu käyttämällä ensimmäistä tai toista momenttia, kuten Markovin epäyhtälö tai Tšebyševin epäyhtälö , jotka antavat vain pienenemisen potenssilain . Samaan aikaan Tšernovin estimaatti edellyttää, että satunnaismuuttujat ovat riippumattomia aggregaatissa, jota ei edellytä Markovin epäyhtälö eikä Tšebyševin epäyhtälö, vaikka Tšebyshevin epäyhtälö edellyttää satunnaismuuttujien parittaista riippumattomuutta .
Tšernovin arvio liittyy Bernsteinin epätasa-arvoon ja Höfdingin epätasa-arvoon , jotka edeltävät sitä historiallisesti.
Tšernov-estimaatin päätapaus satunnaismuuttujalle saavutetaan soveltamalla Markovin epäyhtälöä e tX :ään [1] . Kaikille
Kun X on n satunnaismuuttujan summa X 1 , ... , X n , mille tahansa
Erityisesti optimoimalla t :n suhteen ja olettaen, että X i ovat riippumattomia, saamme
(yksi)samoin
ja näin,
Tšernovin arvioiden erityisarvot saadaan laskemalla tietyille määrille .
Olkoon X 1 , ..., X n riippumattomia Bernoullin satunnaismuuttujia, joiden summa on X ja jokainen on yhtä suuri todennäköisyydellä 1 . Bernoulli-muuttujan osalta seuraava on totta:
Näin ollen
Kaikille ja , saamme
,ja Chernoffin arvion yleinen tapaus antaa [2] :64
Yli n /2 tapahtuman samanaikaisen esiintymisen todennäköisyys { X k = 1 } on täsmälleen yhtä suuri kuin:
Tämän todennäköisyyden alempi arvio voidaan laskea käyttämällä Chernoffin epäyhtälöä:
Todellakin, merkitsemällä μ = np , saamme Chernoff-estimaatin kertovan muodon (katso alla tai johtopäätös 13.3 Sinclairin luokkamuistiinpanoissa) [3] :
Tämä tulos sallii useita yleistyksiä, kuten alla on todettu. Chernoff-estimaateista voidaan havaita useita muotoja: alkuperäinen additiivinen muoto (antaa arvion absoluuttiselle virheelle ) tai käytännöllisempi kertova muoto (rajaa virhettä suhteessa keskiarvoon).
Wassily Hoefding [4] osoitti seuraavan lauseen .
Chernov-Hoefdingin lause . Olkoon X 1 , ..., X n riippumattomia identtisesti jakautuneita satunnaismuuttujia, joiden arvot ovat {0, 1}. Olkoon p = E[ X ] ja ε > 0 . Sitten missä Tämä on Kullback-Leiblerin ero satunnaismuuttujien välillä, joilla on Bernoulli-jakauma parametreilla x ja y . Jos p ≥yksi2, sittenYksinkertaisempi estimaatti saadaan heikentämällä tätä lausetta käyttämällä epäyhtälöä D ( p + ε || p ) ≥ 2 ε 2 , joka seuraa D ( p + ε || p ) konveksiteetista ja siitä, että
Tämä tulos on Hoefdingin epätasa-arvon erikoistapaus . Joissakin tapauksissa käytetään arvioita
vahvempi p <yksikahdeksan.
Samalla tavalla sen voi osoittaa kenelle tahansa
Käytännössä yllä oleva kaava osoittautuu usein hankalaksi [2] , joten käytetään heikompia mutta käteviä arvioita
jotka saadaan käyttämällä epäyhtälöä logaritmien epäyhtälöiden luettelosta [5] . Tai vielä heikompi eriarvoisuus
Tšernovin arvioissa on sovelluksia joukon tasapainottamiseen ja pakettien reitittämiseen harvassa verkossa .
Joukkotasapainotuksen ongelma nousee esiin tilastollisen kokeen suunnittelussa . Tyypillisesti, kun suunnitellaan tilastollista koetta kyseisessä kokeessa annetuilla osallistujaominaisuuksilla, meidän on jaettava osallistujat kahteen ei-päällekkäiseen ryhmään, jotta jokainen ominaisuus on mahdollisimman tasapainossa näiden kahden ryhmän välillä. Katso myös Probability and Computing: Randomized Algorithms and Probabilistic Analysis Arkistoitu 16. huhtikuuta 2021 Wayback Machinessa .
Chernoff-estimaatteja käytetään myös kovien rajojen saavuttamiseen reititysongelmissa käyttämällä permutaatioita. Tämä vähentää reititysruuhkaa harvoissa verkoissa . Katso lisää artikkelista Probability and Computing: Randomized Algorithms and Probabilistic Analysis Arkistoitu 16. huhtikuuta 2021 Wayback Machinessa .
Myös Chernoff-estimaatteja käytetään laskennallisen oppimisen teoriassa todistamaan, että oppimisalgoritmi on todennäköisyydellä likimäärin oikea . Eli suurella todennäköisyydellä tässä algoritmissa on pieni virhe riittävän suuressa harjoitusdatajoukossa [6] .
Chernoff-pisteitä voidaan käyttää tehokkaasti arvioimaan sovelluksen/algoritmin " vahvuustasoa " tutkimalla sen häiriöavaruutta satunnaistuksen avulla. [7]
Rudolf Ahlswede ja Andreas Winter käyttivät Chernoff-estimaatteja satunnaismuuttujille matriisiarvoilla. [8] Seuraava versio epätasa-arvosta löytyy Troppin työstä. [9]
Olkoon M 1 , ..., M t satunnaismuuttujia, joiden matriisiarvot ovat sellaisia, että ja . Merkitse matriisinormioperaattoria . Jos epäyhtälö pätee lähes varmasti kaikille , niin jokaiselle ε > 0
Päätelläksemme, että poikkeamaa 0:sta rajoittaa ε suurella todennäköisyydellä, meidän on valittava (näytteiden lukumäärä) verrannollinen logaritmiin . Yleisessä tapauksessa riippuvuus ei ole ilmeinen: ota esimerkiksi diagonaalinen satunnaismatriisi dimensioiden merkeistä . Riippumattoman otosnormin operaattorin summa on täsmälleen suurin poikkeama riippumattomien satunnaisten pituuksien välillä . Saavuttaakseen enimmäispoikkeaman kiinteän rajan vakiolla todennäköisyydellä, on nostettava logaritmisesti kanssa . [kymmenen]
Seuraava lause on johdettu sillä oletuksella, että sen arvo on alhainen ulottuvuusriippuvuuden välttämiseksi.
Olkoon 0 < ε < 1 ja se on satunnainen symmetrinen reaalimatriisi, jossa ja lähes varma. Oletetaan, että jokaisella kantoaaltoelementillä on korkeintaan arvo . Laitetaan
Jos melkein varmasti, niin
missä M 1 , ..., M t ovat itsenäisiä identtisesti jakautuneita kopioita .
Ankit Garg, Yin Tat Lee, Zhao Song ja Nikhil Srivastava [11] saivat Chernoff-tyyppiset estimaatit matriisiarvoisten satunnaismuuttujien summille, jotka on otettu näytteiden avulla laajentajalla satunnaiskävelyllä .
Rasmus King ja Zhao Song [12] saivat Chernov-tyyppiset estimaatit satunnaisten puiden Laplacian matriisien summille.
Seuraavaa Chernoffin estimaatin versiota voidaan käyttää arvioimaan todennäköisyyttä, että suurin osa väestöstä jää vähemmistöön otoksessa ja päinvastoin. [13]
Oletetaan, että on olemassa yleinen populaatio ja osapopulaatio . Merkitään osajoukon ( ) suhteellinen koko merkillä .
Oletetaan, että valitsemme kokonaisluvun hapan ja satunnaisen otoksen , jonka koko on . Merkitään osajoukon ( ) suhteellinen koko merkillä .
Sitten jokaisesta osakkeesta :
Erityisesti, jos ─ on enemmistö (eli ), niin voimme arvioida ylhäältä todennäköisyyden, että se pysyy enemmistönä otettaessa [14] :
Tämä arvio ei tietenkään pidä paikkaansa. Esimerkiksi jos , niin saamme triviaalin arvion .
Olkoon q = p + ε . Ottamalla a = nq kaavassa (1) saamme:
Nyt kun tiedämme, että Pr( Xi = 1 ) = p , Pr( Xi = 0 ) = 1 − p , meillä on
Joten voimme helposti laskea minimin käyttämällä differentiointitekniikkaa:
Tasaamalla tuloksena olevan lausekkeen nollaan ja ratkaisemalla yhtälön suhteessa , saamme
niin
Näin ollen
Koska q = p + ε > p , näemme, että t > 0 , joten arviomme täyttyy t :llä . Kun meillä on t , voimme palata edellisiin yhtälöihin ja etsiä
Meillä on nyt haluttu tulos, koska
Todistuksen täydentämiseksi symmetrisessä tapauksessa määritämme yksinkertaisesti satunnaismuuttujan Y i = 1 − X i , käytämme siihen täsmälleen samaa todistusta ja lisäämme tuloksen estimaatiimme.
Olkoon Pr( Xi = 1 ) = p i . Kaavan (1) mukaan
Kolmas rivi seuraa siitä, että se saa arvon e t todennäköisyydellä p i ja arvon 1 todennäköisyydellä 1 − p i . Tämä on identtinen lisäainemuodon todistuksessa olevien laskelmien kanssa.
Kirjoittamalla uudelleen muotoon ja muistaen, että (jos x > 0 , niin epäyhtälö on tiukka), asetamme . Sama tulos voidaan saada korvaamalla a Chernoff-estimaattorissa suoraan arvolla (1 + δ ) μ . [viisitoista]
Tällä tavalla,
Jos laitamme vain t = ln(1 + δ ) niin, että t > 0 arvolle δ > 0 , voimme liittää sen viimeiseen lausekkeeseen ja löytää
,Q.E.D.