Rajoitettu Boltzmann-kone ( eng. rajoitettu Boltzmann-kone ), lyhennettynä RBM , on eräänlainen generatiivinen stokastinen hermoverkko , joka määrittää syötetietonäytteiden todennäköisyysjakauman.
Ensimmäisen rajoitetun Boltzmann-koneen rakensi vuonna 1986 Paul Smolensky nimellä Harmonium [1] , mutta se saavutti suosion vasta Hintonin keksittyä nopeasti oppivat algoritmit 2000-luvun puolivälissä.
Kone sai tämän nimen muunnelmana tavanomaisesta Boltzmann-koneesta , jossa hermosolut jaettiin näkyviin ja piilotettuihin, ja yhteydet ovat sallittuja vain erityyppisten hermosolujen välillä, mikä rajoittaa yhteyksiä. Paljon myöhemmin, 2000-luvulla, rajoitetut Boltzmann-koneet saivat lisää suosiota, eikä niitä enää pidetty Boltzmann-koneen muunnelmina, vaan erityiskomponentteina syväoppimisverkkojen arkkitehtuurissa . Yhdistämällä useita kaskadeja rajoitettuja Boltzmann-koneita muodostaa syvä uskomusverkosto , erityinen monikerroksinen hermoverkko, joka voi oppia itse ilman opettajaa backpropagation-algoritmin avulla [2] .
Rajoitettujen Boltzmann-koneiden ominaisuus on kyky kouluttaa ilman opettajaa , mutta tietyissä sovelluksissa rajoitetut Boltzmann-koneet koulutetaan opettajan kanssa. Koneen piilotettu kerros on tiedon syvälliset ominaisuudet, jotka paljastuvat oppimisprosessin aikana (katso myös Tiedon louhinta ).
Rajoitettuilla Boltzmann-koneilla on laaja valikoima sovelluksia - nämä ovat datan ulottuvuuden vähentämisongelmat [ 3 ] , luokitteluongelmat [4] , yhteistyösuodatus [5] , ominaisuuksien oppiminen [ 6] ja aihemallinnus [ 7] .
Rajoitetussa Boltzmann-koneessa neuronit muodostavat kaksiosaisen graafin , graafin toisella puolella on näkyviä hermosoluja (sisääntulo) ja toisella puolella piilotettuja, ja jokaisen näkyvän ja jokaisen piilotetun hermosolun välille muodostuu ristikkäitä. Tällainen kytkentäjärjestelmä mahdollistaa gradienttilaskeutumismenetelmän soveltamisen kontrastiivisella divergenssillä verkkoa opetettaessa [8] .
Rajoitettu Boltzmann-kone perustuu Bernoulli-jakauman binäärielementteihin , jotka muodostavat verkon näkyvät ja piilotetut kerrokset. Tasojen väliset linkit määritetään käyttämällä painomatriisia (koko m × n ) sekä siirtymiä näkyvälle ja piilotetulle tasolle.
Verkkoenergian ( v , h ) käsite otetaan käyttöön muodossa
tai matriisimuodossa
Myös Hopfield-verkolla on samanlainen energiatoiminto . Mitä tulee tavalliseen Boltzmannin koneeseen , näkyvän ja piilotetun kerroksen vektoreihin jakautumisen todennäköisyys määräytyy energian avulla [9] :
missä on kaikille mahdollisille verkoille määritelty osiofunktio (toisin sanoen normalisointivakio, joka takaa, että kaikkien todennäköisyyksien summa on yksi). Todennäköisyyden määritys erilliselle syöttövektorille (marginaalijakauma) suoritetaan samalla tavalla kaikkien mahdollisten piilokerrosten konfiguraatioiden summalla [9] :
Verkon rakenteesta johtuen kaksiosaisena graafina piilokerroksen yksittäiset elementit ovat toisistaan riippumattomia ja aktivoivat näkyvän kerroksen, ja päinvastoin näkyvän kerroksen yksittäiset elementit ovat toisistaan riippumattomia ja aktivoivat piilotetun kerroksen. kerros [8] . Näkyville elementeille ja piilotetuille elementeille ehdolliset todennäköisyydet v määritetään todennäköisyyksien h tuloilla :
ja päinvastoin, ehdolliset todennäköisyydet h määritellään todennäköisyyksien v tulona :
Erityiset aktivointitodennäköisyydet yhdelle elementille määritellään seuraavasti
jamissä on kerroksen aktivoinnin logistinen funktio .
Näkyvillä kerroksilla voi olla myös moninominen jakauma , kun taas piilotetuilla kerroksilla on Bernoulli -jakauma . Multinomiaalisuuden tapauksessa softmaxia käytetään logistisen funktion sijasta :
jossa K on näkyvien elementtien diskreettien arvojen lukumäärä. Tätä esitystapaa käytetään aihemallinnusongelmissa [ 7] ja suositusjärjestelmissä [5] .
Rajoitettu Boltzmann-kone on erikoistapaus tavallisesta Boltzmannin koneesta ja Markovin verkosta [10] [11] . Heidän graafimallinsa vastaa tekijäanalyysin graafimallia [12] .
Oppimistavoitteena on maksimoida järjestelmän todennäköisyys tietyllä näytejoukolla (matriisi, jossa jokainen rivi vastaa yhtä näkyvän vektorin näytettä ), joka määritellään todennäköisyyksien tulona.
tai, mikä on sama, maksimoi tuotteen logaritmi: [10] [11]
Neuraaliverkon kouluttamiseen käytetään kontrastiivisen divergenssin (CD) algoritmia optimaalisten matriisipainojen löytämiseen , Geoffrey Hinton ehdotti sitä alun perin PoE-mallien ("asiantuntija-arvioiden tuote") -mallien harjoittamiseen [13] [14] . Algoritmi käyttää Gibbs-näytteenottoa gradientin laskeutumisproseduurin järjestämiseen , joka on samanlainen kuin neuroverkkojen takaisinetenemismenetelmä.
Yleisesti ottaen yksi kontrastiivisen eron (CD-1) vaihe näyttää tältä:
Käytännön ohjeita oppimisprosessin toteuttamiseen löytyy Jeffrey Hintonin henkilökohtaiselta sivulta [9] .
Keinotekoisten neuroverkkojen tyypit | |
---|---|
|
Koneoppiminen ja tiedon louhinta | |
---|---|
Tehtävät | |
Opettajan kanssa oppimista | |
ryhmäanalyysi | |
Mittasuhteiden vähentäminen | |
Rakenteellinen ennustaminen | |
Anomalian havaitseminen | |
Piirrä todennäköisyysmallit | |
Neuroverkot | |
Vahvistusoppiminen |
|
Teoria | |
Lehdet ja konferenssit |
|