Tilastollinen oppimisteoria

Tilastollinen oppimisteoria on malli oppimiskoneille, joka perustuu tilastoihin ja funktionaaliseen analyysiin [1] [2] . Tilastollinen oppimisteoria käsittelee datan perusteella ennustavan funktion löytämisen ongelmia. Tilastollinen oppimisteoria on johtanut menestyksekkäisiin sovelluksiin sellaisilla aloilla kuin tietokonenäkö , puheentunnistus ja bioinformatiikka .

Johdanto

Oppimisen tarkoitus on ymmärrys ja ennakointi. Oppiminen jakautuu useisiin luokkiin, mukaan lukien ohjattu oppiminen , ohjaamaton oppiminen, verkko - oppiminen ja vahvistusoppiminen . Tilastollisen oppimisteorian kannalta ohjattu oppiminen on ymmärrettävintä [3] . Ohjattu oppiminen sisältää oppimisen harjoitustietojoukon avulla Mikä tahansa harjoitushetki on tulo/lähtö-pari, jossa tuloarvo on kartoitettu lähtöarvoon. Oppimisongelmana on rekonstruoida funktio, joka kartoittaa syötteet lähtöihin, jotta funktiota voidaan käyttää tulevien tulojen tulosten ennustamiseen.

Päätelmän tyypistä riippuen ohjatut oppimisongelmat ovat joko regressioongelmia tai luokitteluongelmia . Jos tulos voi olla jatkuvalla alueella, se on regressioongelma. Ohmin lakia käyttämällä esimerkkinä regressio voisi ottaa jännitteen tulona ja antaa virran ulostulona. Regressio voisi löytää jännitteen ja virran välisen suhteen as , niin että ${\frac {1}{R}}$

I={\frac {1}{R}}V

Luokittelutehtävät ovat niitä, joiden tulos on elementti tunnistejoukosta. Luokittelu on hyvin yleistä koneoppimissovelluksissa. Esimerkiksi kasvojentunnistusjärjestelmässä syötteenä olisi kasvojen kuva ja tuloste voisi olla henkilön sukunimi. Syöte voidaan esittää suurena moniulotteisena vektorina, jonka elementit edustavat kuvan pikseleitä.

Harjoittelusarjaan perustuvan ominaisuuden harjoittamisen jälkeen kyseinen ominaisuus testataan testisarjassa, joka ei näy harjoitussarjassa.

Muodollinen kuvaus

Olkoon kaikkien mahdollisten tulojen vektoriavaruus ja kaikkien mahdollisten lähtöjen vektoriavaruus. Tilastollinen oppimisteoria olettaa, että avaruustulon yli on jokin tuntematon todennäköisyysjakauma , eli on olemassa tuntematonta . Harjoitusjoukko koostuu tämän todennäköisyysjakauman esiintymistä ja on merkitty $X$ $Y$ $Z=X\times Y$ $p(z)=p({\vec {x)),y)$ $n$

S=\{({\vec {x}}_{1},y_{1}),\dots ,({\vec {x}}_{n},y_{n})\}= \{{\vec {z}}_{1},\dots ,{\vec {z}}_{n}}\}

Jokainen on syöttövektori opetusdatasta ja on tuota tulovektoria vastaava lähtö. ${\vec {x}}_{i}$ $y_{i}$

Tällaisessa formalisoinnissa päättelyongelma on löytää sellainen funktio , että . Antaa olla funktioiden tila , jota kutsutaan hypoteesien tilaksi. Hypoteesiavaruus on tila, jota algoritmi tarkastelee. Olkoon tappiofunktio , ennustetun arvon ja todellisen arvon välisen eron metriikka . Odotettu riski määritellään seuraavasti $f:X\Y:ksi$ $f({\vec {x)))\sim y$ ${\mathcal {H}}$ $f:X\Y:ksi$ $V(f({\vec {x))),y)$ $f({\vec {x)))$ $y$

I[f]=\displaystyle \int _{X\times Y}V(f({\vec {x}}),y)\,p({\vec {x}}),y)\ , d{\vec {x}}\,dy

Objektiivifunktio, paras funktio , joka voidaan valita, on funktio, joka täyttää ehdon $f$

f=\inf _{h\in {\mathcal {H))}I[h]

Koska todennäköisyysjakauma ei ole tiedossa, on käytettävä odotetun riskin vertauslukuja. Nämä pisteet perustuvat harjoitussarjaan, otteeseen tästä tuntemattomasta todennäköisyysjakaumasta. Tällaista mittaa kutsutaan empiiriseksi riskiksi: Oppimisalgoritmia, joka valitsee funktion , joka minimoi empiirisen riskin, kutsutaan empiiriseksi riskin minimoimiseksi . $p({\vec {x)),y)$ $I_{S}[f]={\frac {1}{n}}\displaystyle \sum _{i=1}^{n}V(f({\vec {x}}_{i} ),y_{i})$ ${\displaystyle f_{S))$

Häviöfunktiot

Häviöfunktion valinta on oppimisalgoritmin valitseman funktion määräävän tekijän määrittäminen . Häviöfunktio vaikuttaa myös algoritmin konvergenssinopeuteen. On tärkeää, että häviöfunktio on konveksi [4] . ${\displaystyle f_{S))$

Erilaisia häviöfunktioita käytetään sen mukaan, onko ongelma regressio vai luokittelu.

Regressio

Yleisimmin käytetty regression häviöfunktio on neliöllinen häviöfunktio (tunnetaan myös nimellä L2-normi ). Tätä tuttua häviöfunktiota käytetään tavallisessa pienimmän neliösumman menetelmässä . Kaava:

V(f({\vec {x}}),y)=(yf({\vec {x}})))^{2}

Absoluuttista häviön arvoa (tunnetaan myös nimellä L1-normi ) käytetään myös joskus:

V(f({\vec {x}}),y)=|yf({\vec {x}})|

Luokitus

Eräässä mielessä 0-1- indikaattorifunktio on luokitteluongelmien luonnollisin häviöfunktio. Funktio ottaa arvon 0, jos ennustettu tulos vastaa oikeaa arvoa, ja arvon 1, jos ennustettu tulos ei vastaa oikeaa arvoa. Binääriluokituksessa tämä olisi: $Y=\{-1,1\}$

V(f({\vec {x)))),y)=\theta (-yf({\vec {x))))

missä on Heaviside-funktio . $\theta$

Regularisointi

Koneoppimistehtävissä ylisovituksesta tulee suuri ongelma . Koska oppiminen on ennustetehtävä, tavoitteena ei ole löytää ominaisuutta, joka sopii parhaiten (esikatseltaviin) tietoihin, vaan löytää ominaisuus, joka ennustaa tarkimmin tulevien syötteiden tulosteen. Empiirinen riskien minimointi kuuluu tähän ylisovitusriskiin – löytää funktio, joka sopii dataan tarkasti, mutta ei ennusta tulevaisuutta.

Ylisovitus on oire epävakaista ratkaisuista – pienet muutokset harjoitussarjassa voivat aiheuttaa suuria vaihteluita oppimistoiminnassa. Voidaan osoittaa, että ratkaisun stabiilius voidaan taata [5] [6] . Säännöllistäminen voi ratkaista ylisovitusongelman ja tarjota vakautta.

Regularisointi voidaan tehdä rajoittamalla hypoteesien tilaa . Se voidaan rajoittaa esimerkiksi lineaarisiin funktioihin - tätä voidaan pitää standardin lineaarisen regression ongelman rajoituksena . voidaan rajoittaa astepolynomeihin , eksponentiaaleihin tai rajallisiin funktioihin L1 :ssä . Hypoteesiavaruuden rajoitus sulkee pois ylisovituksen rajoittamalla potentiaalisten funktioiden muotoa, mikä ei salli funktioiden valitsemista, jotka antavat empiirisen riskin mielivaltaisesti lähellä nollaa. ${\mathcal {H}}$ ${\mathcal {H}}$ ${\mathcal {H}}$ $s$

Eräs esimerkki regularisoinnista on Tihonovin regularisointi . Se koostuu minimoinnista

{\frac {1}{n}}\displaystyle \sum _{i=1}^{n}V(f({\vec {x}}_{i},y_{i}))+ \gamma \|f\|_{\mathcal {H}}^{2}

missä on kiinteä positiivinen parametri. Tikhonov-regulointimenetelmä varmistaa ratkaisun olemassaolon, ainutlaatuisuuden ja stabiilisuuden [7] . $\gamma$

Muistiinpanot

↑ Hastie, Tibshirani, Friedman, 2009 .
↑ Mohri, Rostamizadeh, Talwalkar, 2012 .
↑ Tomaso Poggio, Lorenzo Rosasco, et ai. Tilastollisen oppimisen teoria ja sovellukset , 2012, luokka 1 Arkistoitu 16. syyskuuta 2012 Wayback Machinessa
↑ Rosasco, Vito, Caponnetto, Fiana, Verri, 2004 , s. 1063-1076.
↑ Vapnik, Chervonenkis, 1971 , s. 264-280.
↑ Mukherjee, Niyogi, Poggio, Rifkin, 2006 , s. 161-193.
↑ Tomaso Poggio, Lorenzo Rosasco, et ai. Statistical Learning Theory and Applications , 2012, luokka 2 Arkistoitu 16. elokuuta 2016 Wayback Machinessa

Kirjallisuus

Trevor Hastie, Robert Tibshirani, Jerome Friedman. Tilastollisen oppimisen elementit. - Springer-Verlag, 2009. - ISBN 978-0-387-84857-0 .
Mehryar Mohri, Afshin Rostamizadeh, Ameet Talwalkar. Koneoppimisen perusteet.. - USA, Massachusetts: MIT Press., 2012. - ISBN 9780262018258 .
Gagan Sidhu, Brian Caffo. Syöttäjän päätöksenteon hyödyntäminen vahvistusoppimisen avulla // Annals of Applied Statistics. - 2014. - V. 8 , nro 2 . - doi : 10.1214/13-AOAS712 .
Rosasco L., Vito ED, Caponnetto A., Fiana M., Verri A. Ovatko häviöfunktiot samat? // Neuraalinen laskenta. - 2004. - T. 16 .
Vapnik VN , Chervonenkis AY Tapahtumien suhteellisten frekvenssien ja niiden todennäköisyyksien yhtenäisestä konvergenssista // Todennäköisyysteoria ja sen sovellukset. - 1971. - T. 16 .
Mukherjee S., Niyogi P., Poggio T., Rifkin R. Oppimisteoria: vakaus riittää yleistämiseen ja välttämätön ja riittävä empiirisen riskin minimoimisen johdonmukaisuuden kannalta // Advances in Computational Mathematics. - 2006. - T. 25 .

Koneoppiminen ja tiedon louhinta
Tehtävät	Luokitteluongelma Oppiminen ilman opettajaa Opettajan avustama oppiminen Taantumisanalyysi AutoML Yhdistyksen säännöt Ominaisuuksien erottaminen Ominaisuuksien koulutus Ranking koulutus Kieliopillinen johtaminen Verkko-oppiminen
Opettajan kanssa oppimista	k-lähimmän naapurin menetelmä Naiivi Bayesin luokitin päätöspuu Tuki vektorikonetta Lineaarinen regressio Logistinen regressio perceptron Mallien kokoonpanot Pussittaminen tehostaa satunnainen metsä Asiaankuuluva vektorimenetelmä
ryhmäanalyysi	k-keinomenetelmä Sumea klusterointimenetelmä Hierarkkinen klusterointi EM-algoritmi KOIVU PARANTAA DBSCAN OPTIIKKA Keskimääräinen siirto
Mittasuhteiden vähentäminen	Tekijäanalyysi Pääkomponenttimenetelmä CCA ICA LDA Ei-negatiivinen matriisin laajennus t-SNE
Rakenteellinen ennustaminen	Graafinen todennäköisyysmalli Bayesin verkko Piilotettu Markovin malli CRF
Anomalian havaitseminen	k-lähimmän naapurin menetelmä Paikallinen päästötaso
Piirrä todennäköisyysmallit	Bayesin verkko Markovin verkko Piilotettu Markovin malli
Neuroverkot	Rajoitettu Boltzmann-kone itseorganisoituva kartta Aktivointitoiminto Sigmoidi softmax Radiaalinen kantafunktio Takaisin lisäysmenetelmä Syväoppiminen Monikerroksinen perceptroni Toistuva neuroverkko pitkä lyhytaikainen muisti Hallittu toistuva esto Konvoluutiohermoverkko U-Net Autoenkooderi
Vahvistusoppiminen	Markovin prosessi Bellmanin yhtälö Ahne algoritmi Q-oppiminen SARSA Aikaero (TD)
Teoria	Vapnik-Chervonenkis teoria Bias-dispersion dilemma Laskennallinen oppimisteoria Empiirinen riskin minimointi Occam oppii PAC-oppiminen Tilastollinen oppimisteoria
Lehdet ja konferenssit	NeurIPS ICML ML JMLR ArXiv:cs.LG