Lineaarinen regressio

Lineaarinen regressio on regressiomalli , jota käytetään tilastoissa yhden (selitetyn, riippuvan) muuttujan riippuvuudelle toisesta tai useista muista muuttujista (tekijät, regressorit, riippumattomat muuttujat) lineaarisella riippuvuusfunktiolla . $y$ $x$

Lineaarinen regressiomalli on ekonometriassa yleisimmin käytetty ja tutkituin . Eli tutkitaan eri menetelmillä saatujen parametriestimaattien ominaisuuksia tekijöiden todennäköisyysominaisuuksien ja mallin satunnaisvirheiden perusteella. Epälineaaristen mallien arvioiden rajoittavat (asymptoottiset) ominaisuudet johdetaan myös jälkimmäisten lineaaristen mallien approksimaatiosta. Ekonometrisesta näkökulmasta parametrien lineaarisuus on tärkeämpää kuin mallitekijöiden lineaarisuus.

Määritelmä

Regressiomalli

y=f(x,b)+\varepsilon ,~E(\varepsilon )

missä ovat mallin parametrit, on mallin satunnaisvirhe; kutsutaan lineaariseksi regressioksi, jos regressiofunktiolla on muoto $b$ $\varepsilon$ $f(x,b)$

f(x,b)=b_0+b_1 x_1+b_2 x_2+...+b_k x_k

missä ovat regressioparametrit (kertoimet), ovat regressorit (mallitekijät), k on mallitekijöiden lukumäärä [1] . $b_{j}$ $x_{j}$

Lineaariset regressiokertoimet osoittavat riippuvan muuttujan muutosnopeuden tietylle tekijälle, kun muut tekijät ovat kiinteitä (lineaarisessa mallissa tämä nopeus on vakio):

\forall j\quad ~b_{j}={\frac {\partial f}{\partial x_{j))}=const

Parametria , jolle ei ole tekijöitä, kutsutaan usein vakioksi . Muodollisesti tämä on funktion arvo kaikkien tekijöiden nolla-arvolla. Analyyttisiä tarkoituksia varten on tarkoituksenmukaista ajatella, että vakio on parametri, jonka "tekijä" on yhtä suuri kuin 1 (tai muu mielivaltainen vakio, joten tätä "tekijää" kutsutaan myös vakioksi). Tässä tapauksessa, jos numeroidaan alkuperäisen mallin tekijät ja parametrit uudelleen tätä ajatellen (jättäen tekijöiden kokonaismäärän nimen - k), niin lineaarinen regressiofunktio voidaan kirjoittaa seuraavaan muotoon, joka ei muodollisesti sisältää vakion: $b_{0}$

f(x,b)=b_1 x_1 + b_2 x_2 + \ldots + b_k x_k=\sum^k_{j=1}b_j x_j=x^Tb

missä on regressoreiden vektori, on parametrien (kertoimien) sarakevektori. $x^T=(x_1,x_2,...,x_k)$ $b=(b_1,b_2,\ldots,b_k)^T$

Lineaarinen malli voi olla joko vakiolla tai ilman vakiota. Tällöin tässä esityksessä ensimmäinen tekijä on joko yhtä suuri kuin yksi tai on vastaavasti tavallinen tekijä.

Pari- ja moninkertainen regressio

Tietyssä tapauksessa, kun tekijä on ainutlaatuinen (vakiota ottamatta huomioon), puhutaan pariliitoksesta tai yksinkertaisesta lineaarisesta regressiosta:

y_t=a+b x_t+\varepsilon_t

Kun tekijöiden lukumäärä (vakiota huomioimatta) on enemmän kuin yksi, he puhuvat moninkertaisesta regressiosta:

{\displaystyle Y=b_{0}+b_{1}x_{i1}+...+b_{j}x_{ij}+...+b_{k}x_{ik}+e_{i))

Esimerkkejä

Organisaation kustannusmalli (ilman satunnaista virhettä)

TC=FC+VC=FC+v \cdot Q

$TC$ - kokonaiskustannukset
$FC$ - kiinteät kustannukset (ei riipu tuotantomäärästä)
$VC$ - tuotannon määrään suhteutetut muuttuvat kustannukset
$v$ - erityiset tai keskimääräiset muuttuvat kustannukset (tuotantoyksikköä kohti).
$K$ - tuotannon määrä.

Yksinkertaisin kulutusmalli ( Keynes )

C=a+bY+\varepsilon

$C$ - kulutuskulut
$Y$ - käytettävissä olevat tulot
$b$ - Marginaalinen taipumus kuluttaa
$a$ Itsenäinen (tuloista riippumaton) kulutus.

Matriisiesitys

Olkoon näyte n havainnosta muuttujilla y ja x . Olkoon t havainnon numero otoksessa. Sitten — muuttujan y arvo t : nnessä havainnossa, — j :nnen tekijän arvo t :nnessä havainnossa. Vastaavasti on t- : nnen havainnon regressorien vektori . Sitten jokaisessa havainnossa tapahtuu lineaarinen regressioriippuvuus: $y_{t}$ $x_{tj}$ $x^T_t=(x_{t1},x_{t2},...,x_{tk})$

y_t=b_1 x_{t1}+b_2 x_{t2}+...+b_k x_{tk}=\sum^k_{j=1}b_j x_{tj}=x^T_t b+\varepsilon_t~,~E( \varepsilon_t)=0~,~t=1..n

Esitellään merkintä:

y={\begin{pmatrix}y_{1}\\y_{2}\\...\\y_{n}\\\end{pmatrix))

on riippuvan muuttujan y havaintojen vektori

X={\begin{pmatrix}x_{11}&x_{12}&...&x_{1k}\\x_{21}&x_{22}&...&x_{2k}\\... \\x_{n1}&x_{n2}&...&x_{nk}\\\end{pmatrix}}

on tekijöiden matriisi.

\varepsilon ={\begin{pmatrix}\varepsilon _{1}\\\varepsilon _{2}\\...\\\varepsilon _{n}\\\end{pmatrix}}

on satunnaisvirheiden vektori.

Sitten lineaarinen regressiomalli voidaan esittää matriisimuodossa:

y=Xb+\varepsilon

Klassinen lineaarinen regressio

Klassisessa lineaarisessa regressiossa oletetaan, että standardiehdon ohella myös seuraavat oletukset täyttyvät ( Gauss-Markov-ehdot ): $E(\varepsilon _{t})=0$

Mallin satunnaisvirheiden homosedastisuus (vakio tai yhtä suuri varianssi) tai heteroskedastisuuden puute : $V(\varepsilon _{t})=\sigma ^{2}=vakio$
Satunnaisvirheiden autokorrelaation puute : $\kaikki i,j,~ i \not = j ~~cov(\varepsilon_i,\varepsilon_j)=0$

Nämä mallin matriisiesityksen oletukset on muotoiltu yhdeksi oletukseksi satunnaisvirhevektorin kovarianssimatriisin rakenteesta: $V(\varepsilon)=\sigma^2 I_n$

Edellä olevien oletusten lisäksi klassisessa mallissa tekijöiden oletetaan olevan deterministisiä ( ei- stokastisia ). Lisäksi vaaditaan muodollisesti, että matriisilla on täysi arvo ( ), eli oletetaan, että tekijöiden täydellistä kollineaarisuutta ei ole. $X$ $k$

Kun klassiset oletukset täyttyvät, tavallisella pienimmän neliösumman menetelmällä voidaan saada riittävän korkealaatuisia estimaatteja mallin parametreista, nimittäin: ne ovat puolueettomia , johdonmukaisia ja tehokkaimpia arvioita .

Arviointimenetelmät

Katso myös

Taantumisanalyysi

Muistiinpanot

↑ Demidenko, 1981 , s. 6.

Kirjallisuus

E.Z. Demidenko. Lineaarinen ja epälineaarinen regressio. - M. : Talous ja tilastot, 1981. - 302 s.
J. Seber. Lineaarinen regressioanalyysi. - M .: Mir, 1980. - 456 s. — 13 700 kappaletta.

Pienin neliösumma ja regressioanalyysi

Laskennalliset tilastot

Pienimmän neliön menetelmä
Lineaarinen MNC
Epälineaariset pienimmän neliösumman
LSM, jossa painojen iteratiivinen uudelleenlaskenta

Korrelaatio
ja riippuvuus

Pearsonin korrelaatiokerroin
Rankkorrelaatio ( Spearman
Kendall )
Osittainen korrelaatio
Vääristävä tekijä

Taantumisanalyysi

Tavallinen MNC
Osittainen pienimmän neliösumman menetelmä
Vähiten täysiä neliöitä
Ridge-regressio

Regressio
tilastollisena
mallina

Lineaarinen regressio	Yksinkertainen lineaarinen regressio Tavallinen MNC Yleistetyt pienimmän neliösumman Painotetut pienimmän neliösumman Lineaarinen perusmalli
ennustava rakenne	Polynomiregressio kasvukäyrä Segmentoitu regressio Paikallinen regressio
Mukautettu regressio	epälineaarinen Ei-parametrinen puoliparametrinen kestävää kvantiili isotoninen
Ei- standardivirheet	Yleistetty lineaarinen malli Binomiaalinen regressio Poissonin regressio Logistinen regressio

Varianssihajotus

Varianssianalyysi
Kovarianssianalyysi
Monimuuttuja varianssianalyysi

Mallitutkimus

C p Mallows
Vaiheittainen regressio
Tilastollisen mallin valinta
Regressiomallin validointi

Edellytykset

Keskimääräinen ja odotettu vastaus
Gauss-Markovin lause
Virheet ja poikkeamat
Tilastollinen testi
Studentoitu tasapaino
Pienin keskineliövirhe

Kokeilun suunnittelu

Vastauspinnan metodologia
Optimaalinen kokeilun suunnittelu
Bayesin kokeilusuunnittelu

Numeerinen
likiarvo

Sovellukset

Approksimointi käyrien avulla
Kalibrointikäyrä
Savitsky-Golay suodatin
Järjestelmän tunnistaminen
Liikkuvan pienimmän neliösumman menetelmä

Koneoppiminen ja tiedon louhinta
Tehtävät	Luokittelu ongelma Oppiminen ilman opettajaa Opettajan avustama oppiminen Taantumisanalyysi AutoML Yhdistyksen säännöt Ominaisuuksien erottaminen Ominaisuuksien koulutus Ranking koulutus Kieliopillinen johtaminen Verkko-oppiminen
Opettajan kanssa oppimista	k-lähimmän naapurin menetelmä Naiivi Bayesin luokitin päätöspuu Tuki vektorikonetta Lineaarinen regressio Logistinen regressio perceptron Mallien kokoonpanot Pussittaminen tehostaa satunnainen metsä Asiaankuuluva vektorimenetelmä
ryhmäanalyysi	k-keinomenetelmä Sumea klusterointimenetelmä Hierarkkinen klusterointi EM-algoritmi KOIVU PARANTAA DBSCAN OPTIIKKA Keskimääräinen siirto
Mittasuhteiden vähentäminen	Tekijäanalyysi Pääkomponenttimenetelmä CCA ICA LDA Ei-negatiivinen matriisin laajennus t-SNE
Rakenteellinen ennustaminen	Graafinen todennäköisyysmalli Bayesin verkko Piilotettu Markovin malli CRF
Anomalian havaitseminen	k-lähimmän naapurin menetelmä Paikallinen päästötaso
Piirrä todennäköisyysmallit	Bayesin verkko Markovin verkko Piilotettu Markovin malli
Neuroverkot	Rajoitettu Boltzmann-kone itseorganisoituva kartta Aktivointitoiminto Sigmoidi softmax Radiaalinen kantafunktio Takaisin lisäysmenetelmä Syväoppiminen Monikerroksinen perceptroni Toistuva neuroverkko pitkä lyhytaikainen muisti Hallittu toistuva esto Konvoluutiohermoverkko U-verkko Autoenkooderi
Vahvistusoppiminen	Markovin prosessi Bellmanin yhtälö Ahne algoritmi Q-oppiminen SARSA Aikaero (TD)
Teoria	Vapnik-Chervonenkis teoria Bias-dispersion dilemma Laskennallinen oppimisteoria Empiirinen riskin minimointi Occam oppii PAC-oppiminen Tilastollinen oppimisteoria
Lehdet ja konferenssit	NeurIPS ICML ML JMLR ArXiv:cs.LG