Opettajan avustama oppiminen

Kokeneet kirjoittajat eivät ole vielä tarkistaneet sivun nykyistä versiota, ja se voi poiketa merkittävästi 3. huhtikuuta 2021 tarkistetusta versiosta . tarkastukset vaativat 7 muokkausta .

Puoliohjattu oppiminen ( myös puoliautomaattinen oppiminen tai osittainen oppiminen ) on koneoppimisen menetelmä, ohjatun oppimisen tyyppi , jossa käytetään myös koulutukseen merkitsemätöntä dataa – yleensä pieni määrä merkittyä dataa ja suuri määrä merkitsemätöntä dataa .

Osittain ohjattu oppiminen on väliasemassa ohjaamattoman oppimisen (ilman merkittyjä koulutustietoja) ja ohjatun oppimisen (käyttäen vain merkittyjä tietoja) välillä.

Monet koneoppimisen tutkijat ovat havainneet, että merkitsemätön data, kun sitä käytetään yhdessä pienen määrän merkittyä dataa, voi parantaa harjoittelun tarkkuutta huomattavasti.

Merkittyjen tietojen asettaminen oppimistehtävää varten vaatii usein ammattitaitoista henkilöä (esimerkiksi ääniraidan kääntäminen tekstiksi) tai fyysistä koetta (esimerkiksi proteiinin 3D-rakenteen määrittämiseksi tai öljyn esiintymisen havaitsemiseksi tietyssä aineessa) alue). Siksi tietojen merkitsemisen kustannukset voivat tehdä oppimisprosessista, jossa käytetään vain merkittyjä tietoja, mahdottomaksi, kun taas merkitsemättömän tiedon määrittely ei ole kovin kallista. Tällaisissa tilanteissa puoliautomaattisella oppimisella voi olla suurta käytännön arvoa. Tällainen oppiminen kiinnostaa myös koneoppimisen alalla ja mallina ihmisen oppimiselle.

Oppitehtävä

Kuten ohjatussa oppimisessa, meille annetaan joukko itsenäisiä, identtisesti hajautettuja esimerkkejä sopivilla tunnisteilla . Lisäksi meille annetaan merkitsemättömiä esimerkkejä . Puoliautomaattisen oppimisen tavoitteena on käyttää tätä yhdistettyä tietoa parempien luokittelutulosten saavuttamiseen , jotka voidaan saada joko pudottamalla merkitsemätöntä dataa ja käyttämällä ohjattua oppimista tai pudottamalla tunnisteita ja käyttämällä ohjaamatonta oppimista. $l$ $x_{1},\dots ,x_{l}\in X$ $y_{1},\dots ,y_{l}\in Y$ $u$ $x_{l+1},\dots ,x_{l+u}\in X$

Puoliautomaattinen oppiminen voi kuulua transduktiiviseen oppimiseen tai induktiiviseen oppimiseen . Transduktiivisen oppimisen tavoitteena on johtaa oikeat tunnisteet vain merkitsemättömälle datalle . Induktion tavoitteena on johtaa oikea kartoitus kohteesta - . ${\displaystyle x_{l+1},\dots ,x_{l+u))$ $X$ $Y$

Voimme ajatella oppimistehtävää kokeena ja merkittyä dataa muutamaksi esimerkiksi, joita opettaja ratkaisi tunnilla. Opettaja tarjoaa myös joukon ratkaisemattomia ongelmia. Transduktiivisen oppimisen ympäristössä nämä ratkaisemattomat ongelmat ovat kotitentti, jonka haluat tehdä yleisesti ottaen hyvin. Induktiivisessa oppimisympäristössä nämä harjoitusongelmat ovat samanlaisia kuin ne, joita kohtaat luokan kokeessa. Ei ole välttämätöntä (ja Vapnikin periaatteen mukaan järjetöntä) suorittaa transduktiivista oppimista päättelemällä luokittelusääntö kaikille syötteille. Käytännössä muodollisesti transduktioon tai induktioon tarkoitettuja algoritmeja käytetään kuitenkin usein vaihtokelpoisina.

Puoliautomaattisessa oppimisessa käytetyt oletukset

Jotta raakadataa voidaan käyttää, datan taustalla olevalle jakelulle on määritettävä jokin rakenne. Puoliautomaattiset oppimisalgoritmit käyttävät ainakin yhtä näistä oletuksista. [yksi]

Smoothness oletus

Pisteet, jotka sijaitsevat lähellä toisiaan, merkitään yhtä suurella todennäköisyydellä. Samaa oletusta käytetään pääasiassa ohjatussa oppimisessa ja sen etuna on geometrisesti yksinkertaisten ratkaisujen käyttö. Puoliautomaattisen oppimisen tapauksessa sileysoletus tarjoaa lisäksi edun rajaamiseen pienitiheyksisille alueille, joissa on vähemmän pisteitä, jotka ovat lähellä toisiaan mutta eri luokkia.

Klusterioletus

Tiedoilla on taipumus muodostaa erillisiä klustereita, ja saman klusterin pisteet merkitään todennäköisemmin samoin (vaikka samoja tunnisteita käyttävät tiedot voivat sijaita useissa eri klustereissa). Tämä on sileysoletuksen erityinen tapaus, joka johtaa ominaisuuksien oppimiseen käyttämällä klusterointialgoritmeja .

Tietojen redundanssioletus

Tämä oletus pätee, kun datadimensiot ovat redundantteja, eli ne on generoitu tietyllä prosessilla, jolla on vain muutama vapausaste. Tässä tapauksessa merkitsemätön data mahdollistaa generointiprosessin tutkimisen ja sitä kautta pienentämisen .

Esimerkiksi ihmisen ääntä ohjaavat useat äänihuulet, [2] ja eri kasvojen ilmeitä ohjaavat useat lihakset. Näissä tapauksissa on kätevämpää käyttää generoivaa tilaa kuin kaikkien mahdollisten akustisten aaltojen tai vastaavasti kuvien tilaa.

Historia

Heuristinen lähestymistapa itseoppimiseen on varhaisin. [1] Se on ollut käytössä 1960-luvulta lähtien (katso esimerkiksi Scudder 1965) [3] ).

Transduktiivisen oppimisen perusteet loi Vladimir Vapnik 1970-luvulla. [4] 1970-luvulla syntyi myös kiinnostus induktiiviseen oppimiseen käyttämällä generatiivisia malleja. Ratsaby ja Venkatesh osoittivat vuonna 1995 Approximate Correct Learningin soveltamisen puoliautomaattiseen oppimiseen, joka perustuu Gaussin sekoitusmalliin. [5]

Puoliautomaattinen oppiminen on viime aikoina tullut suositummaksi ja merkityksellisemmäksi useiden tehtävien vuoksi, joihin on saatavilla valtava määrä merkitsemätöntä dataa (esimerkiksi verkkosivun tekstiä, proteiinisekvenssejä tai kuvia. Katsaus viimeaikaiseen työhön tällä alalla , katso Zhu (2008 [6

Lähestymistavat puoliautomaattiseen oppimiseen

Generatiiviset mallit

Generatiiviset lähestymistavat tilastolliseen oppimiseen pyrkivät ensisijaisesti arvioimaan datapisteiden jakautumista kullekin luokalle. Todennäköisyys , että tietyllä pisteellä on nimike , on verrannollinen Bayesin lauseeseen . Puoliautomaattinen oppiminen, jossa käytetään generatiivisia lähestymistapoja, voidaan nähdä joko ohjatun oppimisen jatkeena (luokittelu ja tiedot aiheesta ) tai ohjaamattoman oppimisen (klusterointi ja jotkin tunnisteet). $p(x|y)$ $p(y|x)$ $x$ $y$ $p(x|y)p(y)$ $p(x)$

Generatiiviset mallit olettavat, että jakaumat ottavat tietyn muodon vektorilla parametroituina . Jos nämä oletukset ovat virheellisiä, merkitsemättömät tiedot voivat itse asiassa heikentää ratkaisun tarkkuutta verrattuna siihen, mikä saataisiin pelkällä merkityllä tiedolla. [7] Jos nämä oletukset ovat kuitenkin oikeita, merkitsemättömät tiedot parantavat suorituskykyä. [5] $p(x|y,\theta )$ $\theta$

Merkitsemätön data jaetaan yksittäisten luokkajakojen sekoituksen mukaan. Jotta leimaamattoman datan sekoituksen jakaumaa voitaisiin tutkia, datan on oltava tunnistettavissa, eli eri parametrien on johdettava erilaisiin tuloksena oleviin jakaumiin. Gaussin sekoitusjakaumat ovat tunnistettavissa ja niitä käytetään yleisesti generatiivisissa malleissa.

Parametrisoitu yhteisjakauma voidaan kirjoittaa ketjusäännöksi. Jokainen vektori liittyy funktioon . Parametri valitaan sitten sen mukaan, että se sopii sekä merkittyihin että merkitsemättömiin tietoihin, tasapainotettuna : $p(x,y|\theta )=p(y|\theta )p(x|y,\theta )$ $\theta$ $f_{\theta }(x)={\underset {y}{\operaattorinimi {argmax} }}\ p(y|x,\theta )$ $\lambda$

{\underset {\Theta }{\operaattorinimi {argmax} }}\left(\log p(\{x_{i},y_{i}\}_{i=1}^{l}|\ theta )+\lambda \log p(\{x_{i}\}_{i=l+1}^{l+u}|\theta )\right)

[6]

Low Density Separation

Tämä on toinen tärkeä menetelmäluokka, joka yrittää rajata alueita, jotka sisältävät useita datapisteitä (merkittyjä tai merkitsemättömiä). Yksi yleisimmin käytetyistä algoritmeista on transduktiivinen tukivektorikone tai TSVM (jolla nimestä huolimatta voidaan käyttää myös induktiivista oppimista). Kun SVM ohjattuun oppimiseen etsii erotuspintaratkaisua, jossa on suurin aukko merkityistä tiedoista, TMST:n tavoitteena on merkitä leimaamaton data siten, että erotuspinnan ratkaisussa on suurin aukko kaikkeen dataan verrattuna. Merkittyjen tietojen vakiohäviösilmukan lisäksi merkitsemättömille tiedoille otetaan käyttöön häviötoiminto, joka tarkoittaa . TMOV valitsee sitten toistettavan ytimen Hilbert- avaruudesta minimoimalla säädetyn empiirisen riskin : ${\näyttötyyli (1-yf(x))_{+))$ ${\näyttötyyli (1-|f(x)|)_{+))$ $y=\operaattorin nimi {sign} {f(x)}$ $f^{*}(x)=h^{*}(x)+b$ ${\mathcal {H}}$

f^{*}={\underset {f}{\operaattorinimi {argmin} }}\left(\displaystyle \sum _{i=1}^{l}(1-y_{i}f(x_ {i}))_{+}+\lambda _{1}||h||_{\mathcal {H}}^{2}+\lambda _{2}\sum _{i=l+1} ^{l+u}(1-|f(x_{i})|)_{+}\oikea)

Tarkkaa ratkaisua ei voida päättää ei-kuperan termin vuoksi, joten tutkimus keskittyy hyödyllisten approksimaatioiden löytämiseen. [6] ${\näyttötyyli (1-|f(x)|)_{+))$

Muita matalatiheyttä jakaumaa toteuttavia lähestymistapoja ovat Gaussin prosessimallit, tiedon järjestäminen ja entropian minimointi (joista TMOV on erikoistapaus).

Graafipohjaiset menetelmät

Graafipohjaiset menetelmät puoliautomaattista oppimista varten käyttävät dataa, joka on esitetty kaaviolla, jossa on solmu jokaiselle nimetylle tai merkitsemättömälle esimerkille. Kaavio voidaan rakentaa käyttämällä aluetietoa tai esimerkkien samankaltaisuuden perusteella. Kaksi yleistä lähestymistapaa ovat kunkin datapisteen yhdistäminen sen lähimpiin naapureihin tai etäisyyden sisällä oleviin esimerkkeihin . Välissä olevan reunan paino on asetettu arvoon . $k$ $\epsilon$ $W_{ij}$ $x_{i}$ $x_{j}$ $e^{\frac {-||x_{i}-x_{j}||^{2}}{\epsilon }}$

Monistoregulaation [8] [9] puitteissa graafi toimii moniston edustajana. Lauseke lisätään standardi Tihonov -regulointitehtävään varmistamaan ratkaisun sujuvuus monimuotoisuuden (tehtävän omassa tilassa) sekä ympäröivän syöttöavaruuden suhteen. Minimoimisen tehtävänä on:

{\underset {f\in {\mathcal {H))}{\operaattorinimi {argmin} }}\left({\frac {1}{l}}\displaystyle \sum _{i=1}^ {l}V(f(x_{i}),y_{i})+\lambda _{A}||f||_{\mathcal {H}}^{2}+\lambda _{I}\ int _{\mathcal {M}}||\nabla _{\mathcal {M}}f(x)||^{2}dp(x)\oikea)

[6]

missä on toistettavan ytimen Hilbert-avaruus ja monimuotoinen data. Säädösparametrit ja säätelevät tasaisuutta lähi- ja sisätiloissa, vastaavasti. Kaaviota käytetään likimääräiseen sisäiseen regularisointitermiin. Kun olet määritellyt Kirchhoff-matriisin , jossa ja on vektori, saamme: ${\mathcal {H}}$ ${\mathcal {M}}$ $\lambda _{A}$ $\lambda _{I}$

\mathbf {f} ^{T}L\mathbf {f} =\displaystyle \sum _{i,j=1}^{l+u}W_{ij}(f_{i}-f_{j })^{2}\approx \int _{\mathcal {M}}||\nabla _{\mathcal {M}}f(x)||^{2}dp(x)

Heuristiset lähestymistavat

Joitakin puoliautomaattisia oppimismenetelmiä ei ole mukautettu käyttämään sekä merkittyä että merkitsemätöntä dataa samanaikaisesti, mutta ne voivat käyttää nimeämätöntä dataa ohjattuun oppimiseen. Esimerkiksi merkityt ja nimeämättömät esimerkit voivat kertoa esityksen, metriikan tai datan ytimistä ensimmäisessä valvomattomassa vaiheessa. Sitten ohjatut oppimisprosessit merkitsivät vain esimerkkejä.

Itseoppiminen on puoliautomaattisen oppimisen kääremenetelmä. [10] Aluksi valvotut oppimisprosessit vain merkitsivät dataa. Tätä luokittelua käytetään sitten nimeämättömiin tietoihin, jotta voidaan luoda lisää merkittyjä esimerkkejä ohjattua oppimista varten. Yleisesti ottaen voi olla varma, että jokaisessa vaiheessa lisätään vain luokittelijatunnisteet. [yksitoista]

Yhteistyössä oppiminen on itseoppimisen laajennus, jossa useat luokittelijat työskentelevät erilaisten (ihanteellisessa tapauksessa ei-päällekkäisten) ominaisuusjoukkojen parissa ja luovat merkittyjä esimerkkejä toisilleen. [12]

Puoliautomaattinen oppiminen ihmisen havainnossa

Ihmisten vastaukset muodollisiin puoliautomaattisiin oppimistehtäviin ovat tuottaneet vaihtelevia johtopäätöksiä merkitsemättömän datan vaikutusasteesta (katso yhteenveto [13] ). Monet luonnolliset oppimistehtävät voidaan nähdä myös esimerkkeinä puoliautomaattisesta oppimisesta. Useimpiin ihmisen oppimisen periaatteisiin liittyy pieni määrä suoria ohjeita (esim. vanhempien lapsuudessa tekemää esineiden merkitseminen) yhdistettynä suureen määrään merkitsemättömiä esimerkkejä (esim. kohteiden tarkkailu nimeämättä tai laskematta niitä tai ainakin jättämättä niitä kuvailematta).

Vauvat ovat herkkiä merkitsemättömän tiedon rakenteelle, kuten kuville koirista ja kissoista tai uros- ja naaraskasvoista. [14] Viimeaikaiset tutkimukset ovat osoittaneet, että imeväiset ja lapset ottavat huomioon paitsi saatavilla olevat merkitsemättömät esimerkit, myös niiden valintaprosessin, joka johtaa merkittyihin esimerkkeihin. [15] [16]

Katso myös

Opettajan kanssa oppimista

Lähteet

↑ 1 2 Puoliohjattu oppiminen (määrätön) . - Cambridge, Mass.: MIT Press , 2006. - ISBN 978-0-262-03358-9 .
↑ Stevens, KN(2000), Acoustic Phonetics, MIT Press, ISBN 0-262-69250-3 , 978-0-262-69250-2
↑ Scudder, HJ Joidenkin adaptiivisten kuvioiden tunnistuskoneiden virheiden todennäköisyys.
↑ Vapnik, V. N., Chervonenkis, A. Ya. Kuviontunnistusteoria. - M.: Nauka, 1974. - 416 s.
↑ 1 2 Ratsaby, J. ja Venkatesh, S. Oppiminen merkittyjen ja leimaamattomien esimerkkien sekoituksesta parametristen sivutietojen kanssa.
↑ 1 2 3 4 Zhu, Xiaojin.
↑ Cozman, F. ja Cohen, I. Puoliohjatun oppimisen riskit: kuinka merkitsemätön data voi heikentää generatiivisten luokittimien suorituskykyä.
↑ M. Belkin, P. Niyogi. Puoliohjattu oppiminen Riemanni-jakoputkilla (määrittämätön) // Koneoppiminen. - 2004. - V. 56 , nro klusterointia käsittelevä erikoisnumero . - S. 209-239 . - doi : 10.1023/b:mach.0000033120.25363.1e .
↑ M. Belkin, P. Niyogi, V. Sindhwani.
↑ Triguero, Isaac. Self-labeled tekniikat puoliohjattua oppimista varten: taksonomia, ohjelmistot ja empiirinen tutkimus (englanniksi) // Knowledge and Information Systems : Journal. - 2013. - 26. marraskuuta ( nide 42 , nro 2 ). - s. 245-284 . — ISSN 0219-1377 . - doi : 10.1007/s10115-013-0706-y .
↑ Fazakis, Nikos. Self-Traned LMT semisupervised Learning (englanti) // Computational Intelligence and Neuroscience : Journal. - 2015. - 29. joulukuuta ( osa 2016 ). - s. 1-13 . - doi : 10.1155/2016/3057481 .
↑ Didaci, Luca. Yhteisharjoittelualgoritmin analyysi erittäin pienillä harjoitussarjoilla . - Springer Berlin Heidelberg . - s. 719-726. — ISBN 9783642341656 .
↑ Johdatus osittain ohjattuun oppimiseen . - Morgan & Claypool, 2009. - ISBN 9781598295481 .
↑ Nuorempi BA, pelkää, että DD jäsentää kohteita erillisiin kategorioihin: Kehitysmuutos pikkulasten luokittelussa // Lapsen kehitys : lehti. - 1999. - Voi. 70 . - s. 291-303 . - doi : 10.1111/1467-8624.00022 .
↑ Xu, F. ja Tenenbaum, JB . Herkkyys näytteenotolle Bayesin sanaoppimisessa. Kehitystiede // Kehitystiede _ : päiväkirja. - 2007. - Voi. 10 . - s. 288-297 . - doi : 10.1111/j.1467-7687.2007.00590.x .
↑ Gweon, H., Tenenbaum JB ja Schulz LE Infants harkitsee sekä näytettä että näytteenottoprosessia induktiivisessa yleistämisessä // Proceedings of the National Academy of Sciences of the United of America : Journal . - 2010. - Vol. 107 , nro. 20 . - P. 9066-9071 . - doi : 10.1073/pnas.1003095107 .

Linkit

Koneoppiminen ja tiedon louhinta
Tehtävät	Luokitteluongelma Oppiminen ilman opettajaa Opettajan avustama oppiminen Taantumisanalyysi AutoML Yhdistyksen säännöt Ominaisuuksien erottaminen Ominaisuuksien koulutus Ranking koulutus Kieliopillinen johtaminen Verkko-oppiminen
Opettajan kanssa oppimista	k-lähimmän naapurin menetelmä Naiivi Bayesin luokitin päätöspuu Tuki vektorikonetta Lineaarinen regressio Logistinen regressio perceptron Mallien kokoonpanot Pussittaminen tehostaa satunnainen metsä Asiaankuuluva vektorimenetelmä
ryhmäanalyysi	k-keinomenetelmä Sumea klusterointimenetelmä Hierarkkinen klusterointi EM-algoritmi KOIVU PARANTAA DBSCAN OPTIIKKA Keskimääräinen siirto
Mittasuhteiden vähentäminen	Tekijäanalyysi Pääkomponenttimenetelmä CCA ICA LDA Ei-negatiivinen matriisin laajennus t-SNE
Rakenteellinen ennustaminen	Graafinen todennäköisyysmalli Bayesin verkko Piilotettu Markovin malli CRF
Anomalian havaitseminen	k-lähimmän naapurin menetelmä Paikallinen päästötaso
Piirrä todennäköisyysmallit	Bayesin verkko Markovin verkko Piilotettu Markovin malli
Neuroverkot	Rajoitettu Boltzmann-kone itseorganisoituva kartta Aktivointitoiminto Sigmoidi softmax Radiaalinen kantafunktio Takaisin lisäysmenetelmä Syväoppiminen Monikerroksinen perceptroni Toistuva neuroverkko pitkä lyhytaikainen muisti Hallittu toistuva esto Konvoluutiohermoverkko U-Net Autoenkooderi
Vahvistusoppiminen	Markovin prosessi Bellmanin yhtälö Ahne algoritmi Q-oppiminen SARSA Aikaero (TD)
Teoria	Vapnik-Chervonenkis teoria Bias-dispersion dilemma Laskennallinen oppimisteoria Empiirinen riskin minimointi Occam oppii PAC-oppiminen Tilastollinen oppimisteoria
Lehdet ja konferenssit	NeurIPS ICML ML JMLR ArXiv:cs.LG