Regularisointi (matematiikka)

Tilastojen laillistaminen , koneoppiminen , käänteinen ongelmateoria on tapa lisätä ehtoon joitain lisärajoituksia, jotta voidaan ratkaista huonosti esitetty ongelma tai estää ylisovitus . Tämä tieto tulee usein rangaistuksena mallin monimutkaisuudesta. Nämä voivat olla esimerkiksi rajoituksia tuloksena olevan funktion sileydelle tai rajoituksia vektoriavaruuden normille .

Bayesilaisesta näkökulmasta monet regularisointimenetelmät vastaavat joidenkin aikaisempien jakaumien lisäämistä mallin parametreihin.

Jotkut säännöstelytyypit:

-regularisointi ( eng. lasso regressio ) tai regularisointi Manhattanin etäisyyden kautta : $L_{1}=\sum _{i}{(y_{i}-y(t_{i}))}^{2}+\lambda \sum _{i}{|a_{i}|}$ .
$L_{2}$ - regularisointi tai Tikhonov-regulaatio (englannin kirjallisuudessa - ridge regression tai Tikhonov regularisation ), integraaliyhtälöille, mahdollistaa tasapainon tietojen yhteensopivuuden ja pienen ratkaisunormin välillä: $L_{2}=\sum _{i}{(y_{i}-y(t_{i}))}^{2}+\lambda \sum _{i}{a_{i}}^{2}$ .

Ylisovitus ilmenee useimmissa tapauksissa siinä, että tuloksena olevilla polynomeilla on liian suuret kertoimet. Näin ollen tavoitefunktioon on lisättävä sakko liian suurista kertoimista .

Ei ole olemassa ratkaisua monikriteerioptimointiin tai optimointiin, jossa tavoitefunktion alue on avaruus, jossa ei ole lineaarista järjestystä tai sitä on vaikea ottaa käyttöön. Lähes aina optimoitavan funktion alueella on pisteitä, jotka täyttävät rajoitukset, mutta arvot pisteissä ovat vertaansa vailla. Käytä skalarisointia [1] löytääksesi kaikki Pareto-käyrän pisteet . Optimoinnissa regularisointi on yleinen skalarisointitekniikka kahden kriteerin optimointiongelmalle [2] . Vaihtelemalla lambda-parametria - elementtiä, jonka on oltava suurempi kuin nolla kaksoiskartiossa, jonka suhteen järjestys määritellään - saat Pareto-käyrältä eri pisteitä .

Kirjallisuus

Boyd S., Vandenberghe L. Convex Optimization . - UK: Cambridge University Press, 2004. - 716 s. - (Berichte über verteilte messysteme). — ISBN 9780521833783 .

Koneoppiminen ja tiedon louhinta
Tehtävät	Luokittelu ongelma Oppiminen ilman opettajaa Opettajan avustama oppiminen Taantumisanalyysi AutoML Yhdistyksen säännöt Ominaisuuksien erottaminen Ominaisuuksien koulutus Ranking koulutus Kieliopillinen johtaminen Verkko-oppiminen
Opettajan kanssa oppimista	k-lähimmän naapurin menetelmä Naiivi Bayesin luokitin päätöspuu Tuki vektorikonetta Lineaarinen regressio Logistinen regressio perceptron Mallien kokoonpanot Pussittaminen tehostaa satunnainen metsä Asiaankuuluva vektorimenetelmä
ryhmäanalyysi	k-keinomenetelmä Sumea klusterointimenetelmä Hierarkkinen klusterointi EM-algoritmi KOIVU PARANTAA DBSCAN OPTIIKKA Keskimääräinen siirto
Mittasuhteiden vähentäminen	Tekijäanalyysi Pääkomponenttimenetelmä CCA ICA LDA Ei-negatiivinen matriisin laajennus t-SNE
Rakenteellinen ennustaminen	Graafinen todennäköisyysmalli Bayesin verkko Piilotettu Markovin malli CRF
Anomalian havaitseminen	k-lähimmän naapurin menetelmä Paikallinen päästötaso
Piirrä todennäköisyysmallit	Bayesin verkko Markovin verkko Piilotettu Markovin malli
Neuroverkot	Rajoitettu Boltzmann-kone itseorganisoituva kartta Aktivointitoiminto Sigmoidi softmax Radiaalinen kantafunktio Takaisin lisäysmenetelmä Syväoppiminen Monikerroksinen perceptroni Toistuva neuroverkko pitkä lyhytaikainen muisti Hallittu toistuva esto Konvoluutiohermoverkko U-verkko Autoenkooderi
Vahvistusoppiminen	Markovin prosessi Bellmanin yhtälö Ahne algoritmi Q-oppiminen SARSA Aikaero (TD)
Teoria	Vapnik-Chervonenkis teoria Bias-dispersion dilemma Laskennallinen oppimisteoria Empiirinen riskin minimointi Occam oppii PAC-oppiminen Tilastollinen oppimisteoria
Lehdet ja konferenssit	NeurIPS ICML ML JMLR ArXiv:cs.LG