Yleistetyt pienimmän neliösumman

Kokeneet kirjoittajat eivät ole vielä tarkistaneet sivun nykyistä versiota, ja se voi poiketa merkittävästi 24. lokakuuta 2015 tarkistetusta versiosta . tarkastukset vaativat 4 muokkausta .

Generalized Least Squares ( GLS , GLS ) on regressiomallien parametrien estimointimenetelmä , joka on klassisen pienimmän neliösumman menetelmän yleistys . Yleistetty pienimmän neliösumman menetelmä pelkistää regressiojäännösten "yleistetty neliösumma" minimoimiseen - , jossa on residuaalien vektori, on symmetrinen positiivinen määrätyn painon matriisi. Tavallinen pienimmän neliösumman menetelmä on yleisen erikoistapaus, jolloin painomatriisi on verrannollinen identiteettiin. $e^{T}Me$ $e$ $W$

On huomattava, että erikoistapausta kutsutaan yleensä yleistetyksi pienimmän neliösumman menetelmäksi, jolloin painomatriisina käytetään matriisia, joka on mallin satunnaisvirheiden kovarianssimatriisin käänteisarvo.

Yleistettyjen pienimmän neliösumman olemus

Tiedetään, että symmetrinen positiivinen määrätty matriisi voidaan hajottaa muodossa , jossa P on jokin rappeutumaton neliömatriisi. Sitten yleistetty neliösumma voidaan esittää muunnettujen (käyttäen P) jäännösten neliösummana . Lineaarisessa regressiossa tämä tarkoittaa, että arvo on minimoitu: $W=P^{T}P$ $(Pe)^{T}Pe$ $y=Xb+\varepsilon$

$[P(y-Xb)]^{T}[P(y-Xb)]=(Py-PXb)^{T}(Py-PXb)=(y^{*}-X^{*}b) ^{T}(y^{*}-X^{*}b)~,$

jossa , eli itse asiassa yleistettyjen pienimmän neliösumman olemus on pelkistetty datan lineaariseen muunnokseen ja tavanomaisten pienimmän neliösumman soveltamiseen näihin tietoihin . Jos painomatriisina käytetään satunnaisvirheiden käänteistä kovarianssimatriisia (eli ) , muunnos P saa muunnetun mallin tyydyttämään klassiset (Gauss-Markov) oletukset, joten parametrien estimaatit tavallisilla pienimmän neliösumman avulla ovat suurimmat. tehokas lineaaristen puolueettomien estimaattorien luokassa. Ja koska alkuperäisen ja muunnetun mallin parametrit ovat samat, tämä viittaa väitteeseen, että GLSM-estimaatit ovat tehokkaimpia lineaaristen puolueettomien arvioiden luokassa (Aitkenin lause). Yleistetyn pienimmän neliösumman kaavan muoto on: $y^{*}=Py~,~X^{*}=PX$ $W$ $V$ $\varepsilon$ $W=V^{{-1}}$

${\hat {b}}_{{GLS}}=(X^{T}V^{{-1}}X)^{{-1}}X^{T}V^{{-1}} y$

Näiden arvioiden kovarianssimatriisi on:

$V({\hat {b}}_{{GLS}})=(X^{T}V^{{-1}}X)^{{-1}}$

Edullinen GLS (FGLS, Toteutettava GLS)

Yleistettyjen pienimmän neliösumman käytön ongelmana on, että satunnaisvirheiden kovarianssimatriisia ei tunneta. Siksi käytännössä käytetään GLS:n saavutettavaa varianttia, kun V:n sijasta käytetään jotakin sen estimaattia. Tässä tapauksessa syntyy kuitenkin myös ongelma: kovarianssimatriisin riippumattomien elementtien lukumäärä on , missä on havaintojen määrä (esimerkiksi 100 havainnosta täytyy arvioida 5050 parametria!). Siksi tämä vaihtoehto ei salli parametrien kvalitatiivisten arvioiden saamista. Käytännössä kovarianssimatriisin rakenteesta tehdään lisäoletuksia, eli oletetaan, että kovarianssimatriisin elementit ovat riippuvaisia pienestä määrästä tuntemattomia parametreja . Niiden lukumäärän tulisi olla paljon pienempi kuin havaintojen lukumäärä. Ensin käytetään tavallista pienimmän neliösumman menetelmää, saadaan jäännökset, jonka jälkeen estimoidaan ilmoitetut parametrit niiden perusteella . Saatujen arvioiden avulla virhekovarianssimatriisi estimoidaan ja sovelletaan yleistettyä pienimmän neliösumman kanssa tällä matriisilla. Tämä on esteettömän GMS:n ydin. On osoitettu, että tietyissä melko yleisissä olosuhteissa, jos estimaatit ovat johdonmukaisia, myös saatavilla olevan CLSM:n estimaatit ovat yhdenmukaisia. $n(n+1)/2$ $n$ $\theta$ $\theta$ $\theta$

Painotettu OLS

Jos virhekovarianssimatriisi on diagonaalinen (virheen heteroskedastisuutta on, mutta ei autokorrelaatiota), niin yleistetty neliösumma on itse asiassa painotettu neliösumma, jossa painot ovat kääntäen verrannollisia virhevariansseihin. Tässä tapauksessa puhutaan painotetusta pienimmän neliösummasta (WLS, Weighted LS). Muunnos P tässä tapauksessa koostuu tietojen jakamisesta satunnaisten virheiden keskihajonnalla. Tällä tavalla painotettuihin tietoihin sovelletaan tavallista pienimmän neliösumman menetelmää.

Kuten yleensäkin, virhevarianssit ovat tuntemattomia ja ne on arvioitava samoista tiedoista. Siksi tehdään joitain yksinkertaistavia oletuksia heteroskedastisuuden rakenteesta.

Virhevarianssi on verrannollinen jonkin muuttujan neliöön

Tässä tapauksessa todelliset diagonaaliset alkiot ovat suureita, jotka ovat verrannollisia tähän muuttujaan (merkitkäämme sitä Z ) . Lisäksi suhteellisuuskerrointa ei tarvita arvioinnissa. Siksi itse asiassa menettely on tässä tapauksessa seuraava: jaa kaikki muuttujat Z :lla (mukaan lukien vakio, eli uusi muuttuja 1/Z tulee näkyviin ). Lisäksi Z voi olla yksi itse alkuperäisen mallin muuttujista (tässä tapauksessa muunnetulla mallilla on vakio). Normaalia pienimmän neliösumman menetelmää sovelletaan muunnettuihin tietoihin parametrien arvioiden saamiseksi:

Homogeeniset havaintoryhmät

Olkoon n havaintoa jaettuna m homogeeniseen ryhmään, joissa jokaisen sisällä oletetaan sama varianssi. Tässä tapauksessa malli arvioidaan ensin tavanomaisten pienimmän neliösumman avulla ja löydetään jäännökset. Kunkin ryhmän jäännösten osalta ryhmän virhevarianssit arvioidaan jäännösten neliösumman suhteeksi ryhmän havaintojen määrään. Lisäksi kunkin j:nnen havaintoryhmän tiedot jaetaan ja tavanomaista LSM:ää sovelletaan tällä tavalla muunnettuihin tietoihin parametrien estimoimiseksi. $\sigma _{j}^{2}~,~j=1..m$ $\sigma _{j}$

GLM autokorrelaation tapauksessa

Jos satunnaisvirheet noudattavat AR(1)-mallia , niin ensimmäistä havaintoa huomioimatta, muunnos P on seuraava: aiemmat arvot kerrottuna :lla vähennetään muuttujien nykyisestä arvosta : $\varepsilon _{t}=r\varepsilon _{{t-1}}+u_{t}$ $r$

${\begin{cases}y_{t}^{*}=y_{t}-ry_{{t-1}}\\x_{t}^{*}=x_{t}-rx_{{t-1 }}\\b_{i}^{*}=b_{i},i>0\\b_{0}^{*}=b_{0}(1-r)\end{cases}}$

Tätä muutosta kutsutaan autoregressiiviseksi muunnokseksi . Ensimmäiseen havaintoon sovelletaan Price-Winsten-korjausta - ensimmäisen havainnon tiedot kerrotaan . Muunnetun mallin satunnaisvirhe on , jonka oletetaan olevan valkoista kohinaa. Siksi tavanomaisten pienimmän neliösumman käyttö antaa meille mahdollisuuden saada kvalitatiivisia arvioita tällaisesta mallista. ${\sqrt {1-r^{2}}}$ $u_{t}$

Koska autoregressiokerrointa ei tunneta, käytetään käytettävissä olevan GLS:n erilaisia menetelmiä.

Cochrane-Orcutt-menettely

Vaihe 1. Arvioi alkuperäinen malli pienimmän neliösumman menetelmällä ja hanki mallin jäännösarvot.

Vaihe 2. Mallin residuaalien autokorrelaatiokertoimen estimointi (muodollisesti se voidaan saada myös residuaalien apuregression autoregressioparametrin OLS-estimaatina ) $e_{t}=re_{{t-1}}+u_{t}$

Vaihe 3. Datan autoregressiivinen muunnos (käyttäen toisessa vaiheessa estimoitua autokorrelaatiokerrointa) ja muunnetun mallin parametrien estimointi tavanomaisilla pienimmän neliösumman avulla.

Muunnetun mallin ja parametriestimaatit ovat alkuperäisen mallin parametriestimaatteja, paitsi vakio, joka palautetaan jakamalla muunnetun mallin vakio luvulla 1-r . Toimenpide voidaan toistaa toisesta vaiheesta, kunnes vaadittu tarkkuus on saavutettu.

Hildreth-Lou -menettely

Tässä menettelyssä tehdään suora haku autokorrelaatiokertoimen arvolle, joka minimoi muunnetun mallin residuaalien neliösumman. Nimittäin r:n arvot asetetaan mahdollisesta intervallista (-1; 1) jollain askeleella. Jokaiselle niistä suoritetaan autoregressiivinen muunnos, malli arvioidaan tavallisilla pienimmillä neliöillä ja löydetään residuaalien neliöiden summa. Autokorrelaatiokerroin valitaan, jolle tämä neliösumma on minimaalinen. Lisäksi löydetyn pisteen läheisyyteen rakennetaan ruudukko, jossa on hienompi askel ja toimenpide toistetaan uudelleen.

Durbinin menettely

Muunneltu malli näyttää tältä:

$y_{t}-ry_{{t-1}}=b_{0}(1-r)+\sum _{{i=1}}^{k}b_{j}(x_{{tj}}- rx_{{t-1j}})+\varepsilon _{t}-r\varepsilon _{{t-1}}$

Laajentamalla sulkuja ja siirtämällä viiveestä riippuvaa muuttujaa oikealle, saamme

$y_{t}=b_{0}(1-r)+ry_{{t-1}}+\summa _{{j=1}}^{k}b_{j}x_{{tj}}-\ summa _{{j=1}}^{k}b_{j}rx_{{t-1j}}+\varepsilon _{t}-r\varepsilon _{{t-1}}$

Otetaan käyttöön merkintä . Sitten meillä on seuraava malli $b_{0}(1-r)=a_{0},~-rb_{j}=a_{j},~u_{t}=\varepsilon _{t}-r\varepsilon _{{t-1} }$

$y_{t}=a_{0}+ry_{{t-1}}+\summa _{{j=1}}^{k}b_{j}x_{{tj}}+\sum _{{j =1}}^{k}a_{j}x_{{t-1j}}+u_{t}$

Tämä malli on arvioitava tavallisella pienimmän neliösumman menetelmällä. Sitten alkuperäisen mallin kertoimet palautetaan muodossa . ${\hattu {b}}_{0}={\hattu {a}}_{0}/(1-{\hattu {r}}),~{\hattu {b}}_{j}=- {\hattu {a}}_{j}/{\hattu {r}}$

Tässä tapauksessa saatua autokorrelaatiokertoimen estimaattia voidaan käyttää autoregressiiviseen muunnokseen ja pienimmän neliösumman soveltamiseen tälle muunnetulle mallille tarkempien parametriestimaattien saamiseksi.

Katso myös

Pienimmän neliön menetelmä

Kirjallisuus

Magnus Ya.R., Katyshev P.K., Peresetsky A.A. Econometrics. Alkukurssi . – 2004.

Pienin neliösumma ja regressioanalyysi

Laskennalliset tilastot

Pienimmän neliön menetelmä
Lineaarinen MNC
Epälineaariset pienimmän neliösumman
LSM, jossa painojen iteratiivinen uudelleenlaskenta

Korrelaatio
ja riippuvuus

Pearsonin korrelaatiokerroin
Rankkorrelaatio ( Spearman
Kendall )
Osittainen korrelaatio
Vääristävä tekijä

Taantumisanalyysi

Tavallinen MNC
Osittainen pienimmän neliösumman menetelmä
Vähiten täysiä neliöitä
Ridge-regressio

Regressio
tilastollisena
mallina

Lineaarinen regressio	Yksinkertainen lineaarinen regressio Tavallinen MNC Yleistetyt pienimmän neliösumman Painotetut pienimmän neliösumman Lineaarinen perusmalli
ennustava rakenne	Polynomiregressio kasvukäyrä Segmentoitu regressio Paikallinen regressio
Mukautettu regressio	epälineaarinen Ei-parametrinen puoliparametrinen kestävää kvantiili isotoninen
Ei- standardivirheet	Yleistetty lineaarinen malli Binomiaalinen regressio Poissonin regressio Logistinen regressio

Varianssihajotus

Varianssianalyysi
Kovarianssianalyysi
Monimuuttuja varianssianalyysi

Mallitutkimus

C p Mallows
Vaiheittainen regressio
Tilastollisen mallin valinta
Regressiomallin validointi

Edellytykset

Keskimääräinen ja odotettu vastaus
Gauss-Markovin lause
Virheet ja poikkeamat
Tilastollinen testi
Studentoitu tasapaino
Pienin keskineliövirhe

Kokeilun suunnittelu

Vastauspinnan metodologia
Optimaalinen kokeilun suunnittelu
Bayesin kokeilusuunnittelu

Numeerinen
likiarvo

Sovellukset

Approksimointi käyrien avulla
Kalibrointikäyrä
Savitsky-Golay suodatin
Järjestelmän tunnistaminen
Liikkuvan pienimmän neliösumman menetelmä