Feedforward hermoverkko

Kokeneet kirjoittajat eivät ole vielä tarkistaneet sivun nykyistä versiota, ja se voi poiketa merkittävästi 23. huhtikuuta 2020 tarkistetusta versiosta . tarkastukset vaativat 2 muokkausta .

Feedforward- hermoverkko  on keinotekoinen hermoverkko, jossa solmujen väliset yhteydet eivät muodosta silmukkaa [1] . Tällainen verkko eroaa toistuvasta neuroverkosta .

Feedforward-hermoverkko oli ensimmäinen ja yksinkertaisin keinotekoisen hermoverkon tyyppi [2] . Tässä verkossa informaatio kulkee vain yhteen suuntaan eteenpäin syöttösolmuista, piilotettujen solmujen (jos sellaisia ​​on) läpi ja lähtösolmuihin. Verkossa ei ole syklejä tai takaisinkytkentäsilmukoita [1] .

Yksikerroksinen perceptron

Yksinkertaisin hermoverkko on yksikerroksinen perceptroniverkko, joka koostuu yhdestä kerroksesta lähtösolmuja; joiden tulot menevät suoraan lähtöihin asteikkosarjan kautta. Kussakin solmussa lasketaan painojen ja syötteiden tulojen summa, ja jos arvo ylittää jonkin kynnyksen (yleensä 0), hermosolu syttyy ja saa aktivoidun arvon (yleensä 1); muussa tapauksessa se ottaa deaktivoidun arvon (yleensä −1). Neuroneja, joilla on tällainen aktivointitoiminto, kutsutaan myös keinotekoisiksi neuroneiksi tai lineaarisiksi kynnysyksiköiksi. Perceptronilla tarkoitetaan kirjallisuudessa usein verkkoja, jotka koostuvat vain yhdestä näistä yksiköistä. Warren McCulloch ja Walter Pitts kuvasivat samanlaisen neuronin 1940-luvulla.

Perceptron voidaan luoda käyttämällä mitä tahansa arvoja käytössä ja pois käytöstä, kunhan kynnysarvo on niiden välissä.

Perceptroneja voidaan kouluttaa käyttämällä yksinkertaista oppimisalgoritmia, jota yleisesti kutsutaan deltasäännöksi . Se laskee lasketun lähdön ja näytetulosteen väliset virheet ja käyttää niitä painosäätöjen luomiseen, mikä toteuttaa eräänlaisen gradientin laskeutumisen .

Yksikerroksiset perceptronit pystyvät oppimaan vain lineaarisesti erotettavia rakenteita; Vuonna 1969 Marvin Minskyn ja Seymour Papertin kuuluisassa Perceptrons - monografiassa osoitettiin, että yksikerroksinen perceptroniverkko ei voinut oppia XOR-funktiota (monikerroksisten perceptronien tiedettiin kuitenkin pystyvän tuottamaan mitä tahansa Boolen funktiota ) . .

Vaikka yksikkökynnysyksikön laskentateho on melko rajallinen, on osoitettu, että rinnakkaisten kynnysyksiköiden verkot voivat approksimoida mitä tahansa jatkuvaa funktiota reaalilukujen kompaktista intervallista väliin [-1,1]. Tämä tulos löytyy julkaisusta Peter Auer, Harald Burgsteiner ja Wolfgang Maass "Oppimissääntö hyvin yksinkertaisille universaaleille approksimaattoreille, jotka koostuvat yhdestä perceptronikerroksesta" [3] .

Yksikerroksinen neuroverkko voi laskea jatkuvan lähdön vaiheittaisen funktion sijaan . Yleinen valinta on ns. logistinen toiminto:

Tällä valinnalla yksikerroksinen verkko on identtinen tilastollisessa mallintamisessa yleisesti käytetyn logistisen regressiomallin kanssa . Logistinen funktio tunnetaan myös sigmoidifunktiona . Sillä on jatkuva johdannainen, mikä mahdollistaa sen käytön takaisinlisäyksessä . Tämä funktio on myös suositeltava, koska sen derivaatta on helppo laskea:

(Se, että f täyttää yllä olevan differentiaaliyhtälön, on helppo osoittaa soveltamalla ketjusääntöä )

Monikerroksinen perceptron

Tämä verkkoluokka koostuu useista laskentayksiköistä, jotka on yleensä kytketty toisiinsa suoralla yhteydellä. Jokaisella yhden kerroksen neuronilla on suunnatut yhteydet seuraavan kerroksen neuronien kanssa. Monissa sovelluksissa näiden verkkojen laitteet käyttävät sigmoid-toimintoa aktivointitoimintona.

Neuraaliverkkojen universaali approksimaatiolause sanoo, että jokainen jatkuva funktio, joka kuvaa reaalilukuvälit johonkin lähtöreaalilukuväliin, voidaan mielivaltaisesti approksimoida monikerroksisella perceptronilla, jossa on vain yksi piilotettu kerros. Tämä tulos pätee moniin aktivointitoimintoihin, esimerkiksi sigmoiditoimintoihin.

Monikerroksisissa verkoissa käytetään monia oppimismenetelmiä, joista suosituin on backpropagation. Tässä lähtöarvoja verrataan oikeaan vastaukseen jonkin ennalta määritetyn virhefunktion arvon laskemiseksi. Virhe palautetaan sitten verkon kautta eri tavoin. Näiden tietojen avulla algoritmi säätää kunkin yhteyden painon pienentääkseen virhefunktion arvoa pienellä määrällä. Kun tämä prosessi on toistettu riittävän suuren määrän koulutusjaksoja, verkko yleensä konvergoi johonkin tilaan, jossa laskentavirhe on pieni. Tässä tapauksessa voidaan sanoa, että verkko on oppinut tietyn tavoitefunktion . Painojen virittämiseksi oikein käytetään yleistä epälineaarista optimointitekniikkaa, jota kutsutaan gradienttilaskuksi. Tätä varten verkko laskee virhefunktion derivaatan verkon painojen suhteen ja muuttaa painoja siten, että virhe pienenee (eli laskee virhefunktion pintaa alaspäin). Tästä syystä backpropagaatiota voidaan käyttää vain verkoissa, joissa on erotettavat aktivointitoiminnot.

Yleisesti ottaen verkon kouluttaminen toimimaan tehokkaasti myös näytteillä, joita ei käytetty koulutuksena, on melko hienovarainen ongelma, joka vaatii lisämenetelmiä. Tämä on erityisen tärkeää tapauksissa, joissa koulutusnäytteitä on saatavilla vain hyvin rajoitettu määrä [4] . Vaarana on, että verkko peittää koulutusdatan eikä pysty sieppaamaan todellista tilastollista prosessia, joka tuottaa dataa. Laskennallinen oppimisteoria koskee luokittimien koulutusta rajoitetulle tietomäärälle. Hermoverkkojen yhteydessä yksinkertainen heuristiikka , jota kutsutaan aikaiseksi pysäyttämiseksi, varmistaa usein, että verkko yleistyy hyvin opetusjoukon ulkopuolisiin esimerkeihin.

Muita tyypillisiä backpropagation-algoritmin ongelmia ovat konvergenssinopeus ja mahdollisuus osua virhefunktion paikalliseen minimiin. Nykyään on olemassa käytännöllisiä tekniikoita, jotka tekevät monikerroksisissa perceptroneissa monikerroksisissa perceptroneissa suositun työkalun moniin koneoppimisongelmiin .

Voit myös käyttää sarjaa riippumattomia hermoverkkoja, joita joku välittäjä valvoo, samanlaista käyttäytymistä esiintyy aivoissa. Nämä neuronit voivat toimia erikseen ja selviytyä suuresta tehtävästä, ja tulokset voidaan lopulta yhdistää [5] .

Muistiinpanot

  1. ↑ 1 2 Zell, Andreas. Simulation Neuronaler Netze // [Simulation of Neural Networks] (saksaksi) (1. painos). Addison Wesley. - 1994. - S. 73 . — ISBN 3-89319-554-8 .
  2. ↑ Schmidhuber, Jürgen. Syväoppiminen hermoverkoissa: yleiskatsaus // Neural Networks. 61:85–117. - 2015. - ISSN 0893-6080 . - doi : 10.1016/j.neunet.2014.09.003 . - arXiv : 1404.7828 .
  3. ↑ Auer, Peter; Harald Burgsteiner; Wolfgang Maass. Oppimissääntö hyvin yksinkertaisille universaaleille approksimaattoreille, jotka koostuvat yhdestä perceptronikerroksesta  // Neural Networks. - 2008. - Nro 21 (5) . — S. 786–795 . - doi : 10.1016/j.neunet.2007.12.036 . — PMID 18249524 .
  4. ↑ Roman M. Balabin; Ravilya Z. Safieva; Ekaterina I. Lomakina. Lineaaristen ja epälineaaristen kalibrointimallien vertailu lähi-infrapunaspektroskopian (NIR) tietoihin perustuvien bensiinin ominaisuuksien ennustamiseen // Chemometr Intell Lab. 88(2). - 2007. - S. 183-188 . - doi : 10.1016/j.chemolab.2007.04.006 .
  5. ↑ Tahmasebi, Pejman; Hezarkhani, Ardeshir. Modulaarisen Feedforward-hermoverkon soveltaminen arvosanan arviointiin // Luonnonvaratutkimus. 20(1). - 21. tammikuuta 2011. - S. 25-32 . - doi : 10.1007/s11053-011-9135-3 .

Linkit