Suurimman todennäköisyyden menetelmä

Kokeneet kirjoittajat eivät ole vielä tarkistaneet sivun nykyistä versiota, ja se voi poiketa merkittävästi 19. tammikuuta 2021 tarkistetusta versiosta . tarkastukset vaativat 4 muokkausta .

Maksimitodennäköisyysmenetelmä tai maksimitodennäköisyysmenetelmä (MMP, ML, MLE - englanti m maximum l ikelihood e stimation ) matemaattisessa tilastossa on menetelmä tuntemattoman parametrin estimoimiseksi todennäköisyysfunktion maksimoimalla [1] . Perustuu olettamukseen, että kaikki tilastollista otosta koskevat tiedot sisältyvät todennäköisyysfunktioon.

R. Fischer analysoi, suositteli ja suositteli maksimitodennäköisyyden menetelmää suuresti suosituksiksi vuosina 1912-1922 (vaikka Gauss , Laplace ja muut olivat käyttäneet sitä aiemmin).

Maksimitodennäköisyyden estimointi on suosittu tilastollinen tekniikka, jota käytetään tilastollisen mallin luomiseen tiedoista ja mallin parametrien arvioinnin antamiseen.

Maksimitodennäköisyysmenetelmä vastaa monia tilastoalalla tunnettuja estimointimenetelmiä. Esimerkiksi olet kiinnostunut sellaisesta antropometrisesta parametrista kuin Venäjän asukkaiden korkeus. Oletetaan, että sinulla on tietoja tietyn määrän ihmisiä, ei koko väestön kasvusta. Lisäksi kasvun oletetaan olevan normaalisti jakautunut suure, jonka varianssi ja keskiarvo ovat tuntemattomia . Otoksen kasvun keskiarvo ja varianssi ovat suurin todennäköisyys koko populaation keskiarvoon ja varianssiin.

Kiinteälle tietojoukolle ja perustodennäköisyysmallille saamme maksimitodennäköisyysmenetelmällä mallin parametrien arvot, jotka tekevät datasta "lähempänä" todellista. Maksimitodennäköisyyden estimointi tarjoaa ainutlaatuisen ja helpon tavan määrittää ratkaisut normaalijakauman tapauksessa.

Maksimitodennäköisyyden estimointimenetelmää sovelletaan useisiin tilastollisiin malleihin, mukaan lukien:

lineaariset mallit ja yleiset lineaariset mallit;
tekijäanalyysi ;
rakenneyhtälöiden mallintaminen;
monet tilanteet hypoteesitestauksen ja luottamusvälin muodostuksen alla;
diskreetit mallit.

Metodin olemus

Olkoon näyte jakaumasta , jossa ovat tuntemattomat parametrit. Antaa olla todennäköisyysfunktio , jossa . Piste-arvio $X_{1},\ldots,X_{n}$ $\mathbb {P} _{\theta }$ $\theta \in \Theta$ $L({\mathbf {x}}\mid \theta )\colon \Theta \to {\mathbb {R}}$ ${\mathbf {x}}\in {\mathbb {R}}^{n}$

{\hat {\theta }}_{\mathrm {M\Pi } }={\hat {\theta }}_{\mathrm {M\Pi } }(X_{1},\ldots ,X_ {n})=\mathop {\rm {argmax)) \limits _{\theta \in \Theta }L(X_{1},\ldots ,X_{n}\mid \theta )

kutsutaan parametrin maksimitodennäköisyysarvioksi . Siten suurin todennäköisyysarvio on se, joka maksimoi todennäköisyysfunktion kiinteälle näytteenottototeutukselle. $\theta$

Usein käytetään log-likelihood- funktiota todennäköisyysfunktion sijaan . Koska funktio kasvaa monotonisesti koko määritelmäalueen yli, minkä tahansa funktion maksimi on funktion maksimi ja päinvastoin. Tällä tavalla, $L$ $l=\ln L$ $x\to \ln x,\;x>0$ $L(\theta)$ $\ln L(\theta )$

{\hat {\theta }}_{\mathrm {M\Pi } }=\mathop {\rm {argmax}} \limits _{\theta \in \Theta }l(X_{1},\ ldots ,X_{n}\mid \theta )

Jos todennäköisyysfunktio on differentioituva, niin ääripään välttämätön ehto on sen gradientin yhtäläisyys nollaan :

g(\theta )={\frac {\partial l({\mathbf {x)),\theta _{0})}{\partial \theta }}=0

Riittävä äärimmäinen ehto voidaan formuloida Hessenin negatiiviseksi definiteetiksi , toisen derivaatan matriisin:

H={\frac {\partial ^{2}l({\mathbf {x)),\theta _{0})}{\partial \theta \partial \theta ^{T))}

Tärkeä maksimitodennäköisyysmenetelmän estimaattien ominaisuuksien arvioimiseksi on ns. informaatiomatriisi , joka on määritelmän mukaan sama:

I(\theta )=E[g(\theta )g(\theta )^{T}]

Optimaalisessa pisteessä informaatiomatriisi osuu miinusmerkillä otettuna Hessenin odotukseen:

I=-E(H_{0})

Ominaisuudet

Suurimman todennäköisyyden estimaattorit voivat yleensä olla puolueellisia (katso esimerkkejä), mutta ne ovat johdonmukaisia , asymptoottisesti tehokkaita ja asymptoottisesti normaaleja estimaattoreita. Asymptoottinen normaalius tarkoittaa sitä

{\sqrt {n}}({\hat {\theta }}-\theta ){\xrightarrow d}N(0,{\boldsymbol {I}}_({\infty }}^{{-1}} )

missä on asymptoottinen informaatiomatriisi. ${\boldsymbol {I}}_{{\infty }}=-\lim _{{n\rightarrow \infty }}{\frac {1}{n}}{\mathbb {E}}({\boldsymbol { H))$

Asymptoottinen tehokkuus tarkoittaa, että asymptoottinen kovarianssimatriisi on alaraja kaikille yhdenmukaisille asymptoottisesti normaaleille estimaattoreille. ${\boldsymbol {I}}_{{\infty }}^{{-1}}$

Jos on maksimitodennäköisyysestimaatti, parametrit , niin on maksimitodennäköisyysestimaatti kohteelle , jossa g on jatkuva funktio (funktionaalinen invarianssi). Siten tiedonjakelun lakeja voidaan parametroida eri tavoin. ${\hattu {\theta ))$ $\theta$ $g({\hat {\theta)))$ $g(\theta)$
Myös MP-arviointien välttämätön ehto on seuraavan lomakkeen järjestelmän käyttöönotto: $\left\{{\begin{matrix}{\frac {\partial }{\partial \theta _{1))}\ln {L_{n))\left({\vec {x)), {\vec {\theta }}\right)&=&0\\\cdots &\cdots &\\{\frac {\partial }{\partial \theta _{k}}}\ln {L_{n}} \left({\vec {x)),{\vec {\theta }}\right)&=&0\\\end{matrix}}\right.$

missä on otoskoon todennäköisyysfunktio

L_{n}\left({\vec {x)),{\vec {\theta }}\right)=\prod _{i=1}^{n}L_{1}\left(x_) {i},{\vec {\theta }}\oikea)

{\vec {x}}

n

Esimerkkejä

Antaa olla riippumaton näyte jatkuvasta tasaisesta jakaumasta välillä , jossa on tuntematon parametri. Silloin todennäköisyysfunktiolla on muoto $X_{1},\ldots ,X_{n}\sim {\mathrm {U}}[0,\theta ]$ $[0,\theta ]$ $\theta >0$

f({\mathbf {x}}\mid \theta )={\begin{cases}{\frac {1}{\theta ^{n}}},&{\mathbf {x}}\in [0, \theta ]^{n}\subset {\mathbb {R}}^{n}\\0,&{\mathbf {x}}\not \in [0,\theta ]^{n}\end{cases }}.

Viimeinen yhtäläisyys voidaan kirjoittaa uudelleen seuraavasti:

f({\mathbf {x}}\mid \theta )={\begin{cases}{\frac {1}{\theta ^{n}}},&\theta \geq \max(x_{1}, \ldots ,x_{n})\\0,&\theta <\max(x_{1},\ldots ,x_{n})\end{cases}},

jossa , mikä osoittaa, että todennäköisyysfunktio saavuttaa maksiminsa kohdassa . Tällä tavalla ${\mathbf {x}}=(x_{1},\ldots ,x_{n})^{{\top }}$ $\theta =\max(x_{1},\ldots ,x_{n})$

{\hat {\theta }}_{({\mathrm {M\Pi }}}}=\max(X_{1},\ldots ,X_{n})

Tällainen arvio on puolueellinen: , mistä $P\{\max(X_{1},\ldots ,X_{n})\leq x\}=\left({\frac {x}{\theta }}\oikea)^{n}$ $E{\hat {\theta }}_{({\mathrm {M\Pi }}}}=\int _{0}^{\theta }xd\left({\frac {x}{\theta }} \right)^{n}={\frac {n}{n+1}}\theta$

Olkoon riippumaton näyte normaalijakaumasta tuntemattoman keskiarvon ja varianssin kanssa . Muodostetaan maksimitodennäköisyysestimaatti tuntemattomalle parametrivektorille . Log-likelihood-funktio saa muodon $X_{1},\ldots ,X_{n}\sim \mathrm {N} (\mu ,\sigma ^{2})$ $\left(\widehat {\mu }_{({\mathrm {M\Pi }}}},\widehat {\sigma ^{2}}_{({\mathrm {M\Pi }}}}\oikea )^{{{\rm {T))))$ $\left(\mu ,\sigma ^{2}\oikea)^{{{\rm {T))))$

L({\mathbf {x}}\mid \mu ,\sigma ^{2})=-{\frac {n}{2}}\ln(2\pi \sigma ^{2})-{\frac {1}{2\sigma ^{2}}}\sum \limits _{{i=1}}^{n}(X_{i}-\mu )^{2}

Löytääksemme sen maksimiarvon, rinnastamme osittaiset derivaatat nollaan :

\left\{{\begin{matrix}\displaystyle {\frac {\partial }{\partial \mu }}L({\mathbf {x}}\mid \mu ,\sigma ^{2})=0\ \[10pt]\displaystyle {\frac {\partial }{\partial \sigma ^{2))}L({\mathbf {x))\mid \mu ,\sigma ^{2})=0\\\ end{matrix}}\right.\Rightarrow \left\{{\begin{matrix}\displaystyle {\frac {\sum \limits _{{i=1}}^{n}X_{i}-n\mu }{\sigma ^{2}}}=0\\[10pt]\displaystyle -{\frac {n}{2\sigma ^{2}}}+{\frac {\sum \limits _{{i= 1}}^{n}(X_{i}-\mu )^{2}}{2\left(\sigma ^{2}\right)^{2}}}=0\\\end{matrix} }\oikea.,

missä

{\hat {\mu }}_{\mathrm {M\Pi } }={\overline {X}}

on näytteen keskiarvo , ja

\widehat {\sigma ^{2}}_{{{\mathrm {M\Pi }}}}=S_{n}^{2}

on otosvarianssi .

Käyttötapa [2]

Kokeilun käsittely

Oletetaan, että mittaamme jonkin määrän . Yhden mittauksen jälkeen saimme sen arvon virheellä : . Kirjoitetaan todennäköisyystiheys, että arvo ottaa arvon : ${\textstyle a}$ ${\textstyle x_{1))$ ${\textstyle \sigma _{1}}$ ${\textstyle x_{1}\pm \sigma _{1))$ ${\textstyle a}$ ${\textstyle x_{1))$

$W(a)={\frac {1}{\sqrt {2\pi \sigma _{1}^{2))))\exp \left[-{\frac {(x_{1}-) a)^{2}}{2\sigma _{1}^{2}}}\oikea]$ .

Oletetaan nyt, että olemme tehneet useita tällaisia mittauksia ja saaneet . Todennäköisyystiheys, että määrä saa arvot , on: ${\textstyle x_{1}\pm \sigma _{1},x_{2}\pm \sigma _{2}\ldots x_{n}\pm \sigma _{n))$ ${\textstyle a}$ ${\textstyle x_{1},x_{2}\ldots x_{n))$

$W(a)=\prod _{i=1}^{n}({\frac {1}{\sqrt {2\pi \sigma _{i}^{2))))\exp \ vasen[-{\frac {(x_{i}-a)^{2}}{2\sigma _{i}^{2}}}\right]}$ .

Tätä funktiota kutsutaan todennäköisyysfunktioksi. Mitatun arvon todennäköisin arvo määräytyy todennäköisyysfunktion maksimin mukaan. Kätevämpi on log-likelihood-toiminto: ${\textstyle a^{*}}$

$L(a)=\ln W(a)=-\sum _{i=1}^{n}{\frac {(x_{i}-a)^{2}}{2\sigma _ {i}^{2}}}+\sum _{i=1}^{n}{\ln {\frac {1}{\sqrt {2\pi \sigma _{i}^{2}}} }}$ .

Erota log-todennäköisyysfunktio suhteessa : ${\textstyle a}$

${\frac {\partial {L}}{\partial {a}}}=\sum _{{i=1}}^{n}{{\frac {x_{i}-a}{\sigma _{ i}^{2}}}}$ .

Yhdistä ja hanki arvoa : ${\frac {\partial {L}}{\partial {a}}}$ ${\textstyle 0}$ ${\textstyle a=a^{*}}$

$a^{*}={\frac {\sum \limits _{{i=1}}^{{n}}{{\frac {x_{i}}{\sigma _{i}^{2}} ))}{\sum \limits _{{i=1}}^{{n}}{{\frac {1}{\sigma _{i}^{2}}}}}}$ .

Cramer muotoili seuraavan lauseen:

Lause: Ei ole olemassa muuta menetelmää kokeen tulosten käsittelyyn, joka antaisi paremman approksimation totuudelle kuin maksimitodennäköisyysmenetelmä.

Mittausvirheet

Oletetaan, että olemme tehneet sarjan mittauksia ja saaneet sarjan arvoja , on luonnollista kirjoittaa, että tällä jakaumalla on Gaussin muoto : ${\textstyle a^{*}}$

$W(a)={\frac {1}{{\sqrt {2\pi \sigma _{{a^{*))}^{2))))}\exp \left[-{\frac {( a^{*}-a)^{2}}{2\sigma _{{a^{*}}}^{2}}}\oikea]$ .

Kirjoitetaan logaritminen todennäköisyysfunktio: . $L(a)=\ln W(a)=-{{\frac {(a^{*}-a)^{2}}{2\sigma _{{a^{*}}}^{2} ))}+{\ln {{\frac {1}{{\sqrt {2\pi \sigma _{{a^{*}}}^{2}}}}}}}$

Otetaan ensimmäinen johdannainen:

${\frac {\partial {L}}{\partial {a}}}={\frac {a^{*}-a}{\sigma _{{a^{*}}}^{2}}}$ .

Jos , niin . Ota nyt toinen johdannainen: ${\frac {\partial {L}}{\partial {a}}}=0$ $a=a^{*}$

${\frac {\partial ^{2}{L}}{\partial {a}^{2}}}=-{\frac {1}{\sigma _{a^{*}}^{ 2}}}$ , missä

$\sigma _{a^{*}}=\left(-{\frac {\partial ^{2}{L}}{\partial {a}^{2}}}{\Big |}_ {a=a^{*}}\oikea)^{-1/2}$ .

Tätä kutsutaan ensimmäiseksi taikakaavaksi [2] .

Ehdollinen suurimman todennäköisyyden menetelmä

Regressiomalleissa käytetään ehdollista maksimitodennäköisyyden menetelmää (Conditional ML) . Menetelmän ydin on, että ei käytetä kaikkien muuttujien (riippuvien ja regressorien) täyttä yhteisjakaumaa, vaan vain riippuvan muuttujan ehdollista jakaumaa tekijöiden mukaan, eli itse asiassa regressiomallin satunnaisvirheiden jakaumaa. . Kokonaistodennäköisyysfunktio on "ehdollisen todennäköisyysfunktion" ja tekijöiden jakautumistiheyden tulos. Ehdollinen MMP vastaa MMP:n täysversiota siinä tapauksessa, että tekijöiden jakautuminen ei millään tavalla riipu arvioiduista parametreista. Tätä ehtoa rikotaan usein aikasarjamalleissa, kuten autoregressiivisessä mallissa . Tässä tapauksessa regressorit ovat riippuvan muuttujan menneitä arvoja, mikä tarkoittaa, että niiden arvot noudattavat myös samaa AR-mallia, eli regressorien jakautuminen riippuu arvioiduista parametreista. Tällaisissa tapauksissa ehdollisen ja täyden suurimman todennäköisyyden menetelmän soveltamisen tulokset eroavat.

Katso myös

Muistiinpanot

↑ Fisher - 1912 matemaattinen tietosanakirja, Moskova: Neuvostoliiton tietosanakirja, 1988.
↑ 1 2 A.P. Onuchin. Ydinfysiikan kokeelliset menetelmät. - Novosibirsk: Novosibirskin valtion teknillinen yliopisto, 2010. - S. 297-303. — 336 s. — ISBN 978-5-7782-1232-9 .

Kirjallisuus

Magnus Ya.R., Katyshev P.K., Peresetsky A.A. Econometrics. Alkukurssi. - M . : Delo, 2007. - 504 s. - ISBN 978-5-7749-0473-0 .
Ostapenko R. I. Rakennemallinnuksen perusteet psykologiassa ja pedagogiikassa: opetusväline psykologisen ja pedagogisen tiedekunnan opiskelijoille. - Voronezh.: VGPU, 2012. - 116 s. - ISBN 978-5-88519-886-8 .
Nikulin M. S. Todennäköisyyssuhteiden kriteeri // Mathematical Encyclopedia / Vinogradov I. M. (päätoimittaja). - M .: Neuvostoliiton tietosanakirja , 1984. - T. 4. - S. 151. - 1216 s.

Sanakirjat ja tietosanakirjat	iso kiinalainen iso kiinalainen iso kiinalainen iso kiinalainen iso kiinalainen Iso venäläinen