Boltzmannin kone

Boltzmann - kone on eräänlainen  stokastinen toistuva neuroverkko, jonka Jeffrey Hinton ja Terry Sejnowski keksivät vuonna 1985 [1] . Boltzmannin konetta voidaan pitää Hopfield-verkon stokastisena generatiivisena muunnelmana .

Tilastomiehet kutsuvat tällaisia ​​verkkoja satunnaisiksi Markov-kentiksi . Verkko on nimetty Boltzmann-koneeksi itävaltalaisen fyysikon Ludwig Boltzmannin mukaan, joka on yksi tilastollisen fysiikan perustajista .

Tämä verkko käyttää hehkutussimulaatioalgoritmia oppimiseen ja osoittautui ensimmäiseksi hermoverkoksi, joka pystyy oppimaan sisäisiä esityksiä ja ratkaisemaan monimutkaisia ​​kombinatorisia ongelmia. Tästä huolimatta useiden ongelmien vuoksi Boltzmann-koneita, joissa on rajoittamaton yhteys , ei voida käyttää käytännön ongelmien ratkaisemiseen. Jos yhteydet ovat rajalliset, koulutus voi olla tarpeeksi tehokasta käytettäväksi käytännössä. Erityisesti niin kutsuttu syvä luottamusverkko on rakennettu rajoitettujen Boltzmann-koneiden sarjasta .

Malli

Kuten Hopfield-verkko, Boltzmann-kone on neuronien verkosto, jolle on määritelty "energian" käsite. Globaalin energian laskenta tehdään muodoltaan identtisellä tavalla Hopfield-verkon kanssa: [2]

Missä:

Linkeillä on seuraavat rajoitukset:

Terminen tasapaino

Yksi Hopfield-verkon päähaitoista on pyrkimys "vakauttaa" verkon tila paikalliseen eikä globaaliin minimiin. Käytännössä on toivottavaa, että verkko siirtyy useammin syviin energiaminimiin kuin mataliin ja että verkon suhteellinen todennäköisyys siirtyä toiseen kahdesta eri energiaisesta minimistä riippuu vain niiden syvyyksien suhteesta. Tämä mahdollistaisi tiettyjen lähtötilavektoreiden saamisen todennäköisyyksien säätelyn muuttamalla järjestelmän energiapinnan profiilia muuttamalla sidospainoja. Näiden näkökohtien perusteella Boltzmannin kone rakennettiin.

Ajatus käyttää "lämpökohinaa" päästä eroon paikallisista minimiistä ja lisätä todennäköisyyttä osua syvemmälle minimiin kuuluu S. Kirpatrickille. Tämän idean pohjalta on kehitetty hehkutussimulaatioalgoritmi .

Otetaan käyttöön jokin parametri  - lämpökohinatason analogi. Sitten määritetään tietyn hermosolun aktiivisuuden todennäköisyys Boltzmannin todennäköisyysfunktion perusteella:

missä  on lämpömelun taso verkossa; on th neuronin ja kaikkien tällä hetkellä aktiivisten hermosolujen  välisten yhteyksien painojen summa .

Rajoitettu Boltzmann-kone

Vaikka Boltzmann-koneen koulutusmahdollisuudet ovat käytännössä rajalliset, nämä ongelmat voidaan ratkaista käyttämällä rajoitettua Boltzmann-koneen (RBM) arkkitehtuuria. Tässä arkkitehtuurissa yhteyksiä on vain piilotettujen ja näkyvien hermosolujen välillä, mutta saman luokan neuronien välillä ei ole yhteyksiä. Tällaista arkkitehtuuria käytti alun perin Paul Smolensky vuonna 1986 nimellä Harmonium [3] , mutta se saavutti suosion vasta Hintonin keksittyä nopeasti oppivat algoritmit 2000-luvun puolivälissä.

Rajoitettuja Boltzmann-koneita käytetään syväoppimisverkoissa . Erityisesti syvää uskomusverkostoa voidaan saada "päällekkäisellä" RBM:llä ja sitten uudelleenkoulutuksella käyttämällä backpropagation-algoritmia.

Muistiinpanot

  1. Ackley, David H.; Hinton, Geoffrey E.; Sejnowski, Terrence J. A Learning Algorithm for Boltzmann Machines. - Cognitive Science 9 (1), 1985. - S. 147-169.
  2. Loskutov A. Yu. , Mikhailov A. S. Johdatus synergiaan. - M., Nauka, 1990. - ISBN 5-02-014475-4 . - Kanssa. 233-237
  3. Smolenski, Paul. Luku 6: Tietojenkäsittely dynaamisissa järjestelmissä: Harmony-teorian perusteet // Parallel Distributed Processing: Explorations in the Microstructure of Cognition, Volume 1: Funds  (englanniksi) / Rumelhart, David E.; McLelland, James L. - MIT Press , 1986. - s. 194-281. — ISBN 0-262-68053-X . Arkistoitu kopio (linkki ei saatavilla) . Haettu 12. kesäkuuta 2014. Arkistoitu alkuperäisestä 13. kesäkuuta 2013. 

Linkit