Boltzmann - kone on eräänlainen stokastinen toistuva neuroverkko, jonka Jeffrey Hinton ja Terry Sejnowski keksivät vuonna 1985 [1] . Boltzmannin konetta voidaan pitää Hopfield-verkon stokastisena generatiivisena muunnelmana .
Tilastomiehet kutsuvat tällaisia verkkoja satunnaisiksi Markov-kentiksi . Verkko on nimetty Boltzmann-koneeksi itävaltalaisen fyysikon Ludwig Boltzmannin mukaan, joka on yksi tilastollisen fysiikan perustajista .
Tämä verkko käyttää hehkutussimulaatioalgoritmia oppimiseen ja osoittautui ensimmäiseksi hermoverkoksi, joka pystyy oppimaan sisäisiä esityksiä ja ratkaisemaan monimutkaisia kombinatorisia ongelmia. Tästä huolimatta useiden ongelmien vuoksi Boltzmann-koneita, joissa on rajoittamaton yhteys , ei voida käyttää käytännön ongelmien ratkaisemiseen. Jos yhteydet ovat rajalliset, koulutus voi olla tarpeeksi tehokasta käytettäväksi käytännössä. Erityisesti niin kutsuttu syvä luottamusverkko on rakennettu rajoitettujen Boltzmann-koneiden sarjasta .
Kuten Hopfield-verkko, Boltzmann-kone on neuronien verkosto, jolle on määritelty "energian" käsite. Globaalin energian laskenta tehdään muodoltaan identtisellä tavalla Hopfield-verkon kanssa: [2]
Missä:
Linkeillä on seuraavat rajoitukset:
Yksi Hopfield-verkon päähaitoista on pyrkimys "vakauttaa" verkon tila paikalliseen eikä globaaliin minimiin. Käytännössä on toivottavaa, että verkko siirtyy useammin syviin energiaminimiin kuin mataliin ja että verkon suhteellinen todennäköisyys siirtyä toiseen kahdesta eri energiaisesta minimistä riippuu vain niiden syvyyksien suhteesta. Tämä mahdollistaisi tiettyjen lähtötilavektoreiden saamisen todennäköisyyksien säätelyn muuttamalla järjestelmän energiapinnan profiilia muuttamalla sidospainoja. Näiden näkökohtien perusteella Boltzmannin kone rakennettiin.
Ajatus käyttää "lämpökohinaa" päästä eroon paikallisista minimiistä ja lisätä todennäköisyyttä osua syvemmälle minimiin kuuluu S. Kirpatrickille. Tämän idean pohjalta on kehitetty hehkutussimulaatioalgoritmi .
Otetaan käyttöön jokin parametri - lämpökohinatason analogi. Sitten määritetään tietyn hermosolun aktiivisuuden todennäköisyys Boltzmannin todennäköisyysfunktion perusteella:
missä on lämpömelun taso verkossa; on th neuronin ja kaikkien tällä hetkellä aktiivisten hermosolujen välisten yhteyksien painojen summa .
Vaikka Boltzmann-koneen koulutusmahdollisuudet ovat käytännössä rajalliset, nämä ongelmat voidaan ratkaista käyttämällä rajoitettua Boltzmann-koneen (RBM) arkkitehtuuria. Tässä arkkitehtuurissa yhteyksiä on vain piilotettujen ja näkyvien hermosolujen välillä, mutta saman luokan neuronien välillä ei ole yhteyksiä. Tällaista arkkitehtuuria käytti alun perin Paul Smolensky vuonna 1986 nimellä Harmonium [3] , mutta se saavutti suosion vasta Hintonin keksittyä nopeasti oppivat algoritmit 2000-luvun puolivälissä.
Rajoitettuja Boltzmann-koneita käytetään syväoppimisverkoissa . Erityisesti syvää uskomusverkostoa voidaan saada "päällekkäisellä" RBM:llä ja sitten uudelleenkoulutuksella käyttämällä backpropagation-algoritmia.
Keinotekoisten neuroverkkojen tyypit | |
---|---|
|
Koneoppiminen ja tiedon louhinta | |
---|---|
Tehtävät | |
Opettajan kanssa oppimista | |
ryhmäanalyysi | |
Mittasuhteiden vähentäminen | |
Rakenteellinen ennustaminen | |
Anomalian havaitseminen | |
Piirrä todennäköisyysmallit | |
Neuroverkot | |
Vahvistusoppiminen |
|
Teoria | |
Lehdet ja konferenssit |
|