Neuroverkko

Neuroverkko [1] (myös keinotekoinen hermoverkko , ANN ) on matemaattinen malli sekä sen ohjelmisto- tai laitteistototeutus, joka on rakennettu biologisten hermoverkkojen - elävän organismin hermosoluverkkojen - organisoinnin ja toiminnan periaatteelle. Tämä käsite syntyi, kun tutkittiin aivoissa tapahtuvia prosesseja ja yritettiin mallintaa näitä prosesseja. Ensimmäinen tällainen yritys oli W. McCullochin ja W. Pittsin neuroverkot [2] . Oppimisalgoritmien kehittämisen jälkeen saatuja malleja alettiin käyttää käytännön tarkoituksiin: ennustusongelmiin , kuvioiden tunnistamiseen , ohjausongelmiin jne.

ANN on yhdistettyjen ja vuorovaikutuksessa olevien yksinkertaisten prosessorien ( keinotekoisten neuronien ) järjestelmä . Tällaiset prosessorit ovat yleensä melko yksinkertaisia ​​(etenkin verrattuna henkilökohtaisissa tietokoneissa käytettyihin prosessoreihin). Jokainen prosessori tällaisessa verkossa käsittelee vain signaaleja , jotka se vastaanottaa ajoittain ja signaaleja, jotka se lähettää säännöllisesti muille prosessoreille. Ja silti, kun tällaiset yksittäin yksinkertaiset prosessorit ovat yhdistettynä riittävän suureen verkkoon hallitulla vuorovaikutuksella, ne pystyvät yhdessä suorittamaan melko monimutkaisia ​​​​tehtäviä.

Neuraaliverkkoja ei ohjelmoida sanan tavallisessa merkityksessä, vaan niitä koulutetaan [a] . Oppimiskyky on yksi hermoverkkojen tärkeimmistä eduista perinteisiin algoritmeihin verrattuna . Teknisesti oppiminen on neuronien välisten yhteyksien kertoimien löytämistä. Oppimisprosessissa hermoverkko pystyy tunnistamaan monimutkaisia ​​riippuvuuksia tulojen ja tulosten välillä sekä suorittamaan yleistyksen . Tämä tarkoittaa, että onnistuneen koulutuksen tapauksessa verkko pystyy palauttamaan oikean tuloksen koulutusnäytteestä puuttuvien tietojen sekä epätäydellisten ja/tai "meluisten", osittain vääristyneiden tietojen perusteella.

Kronologia

Merkittäviä käyttötapoja

Kuvioiden tunnistus ja luokittelu

Kuvina voivat toimia eri luonteiset esineet: tekstisymbolit, kuvat, äänikuviot jne. Verkostoa opetettaessa tarjotaan erilaisia ​​kuvakuvioita, joista käy ilmi, mihin luokkaan ne kuuluvat. Näyte esitetään yleensä piirrearvojen vektorina. Tässä tapauksessa kaikkien ominaisuuksien kokonaisuuden on määritettävä yksiselitteisesti luokka , johon näyte kuuluu. Jos ominaisuuksia ei ole tarpeeksi, verkko voi liittää saman näytteen useisiin luokkiin, mikä ei pidä paikkaansa. Verkkokoulutuksen lopussa se voidaan esittää aiemmin tuntemattomilla kuvilla ja saada vastaus tiettyyn luokkaan kuulumisesta.

Tällaisen verkon topologialle on ominaista se, että neuronien lukumäärä lähtökerroksessa on yleensä yhtä suuri kuin määritettyjen luokkien lukumäärä. Tämä määrittää vastaavuuden hermoverkon lähdön ja sen edustaman luokan välille. Kun verkkoon esitetään kuva, jossakin sen lähdöistä tulee näyttää merkki kuvan kuuluvasta tähän luokkaan. Samanaikaisesti muissa lähdöissä tulee olla merkki siitä, että kuva ei kuulu tähän luokkaan [18] . Jos kahdessa tai useammassa lähdössä on merkki kuulumisesta luokkaan, katsotaan, että verkko ei ole varma vastauksestaan.

Käytetyt hermoverkkoarkkitehtuurit

Päätöksenteko ja johtaminen

Tämä ongelma on lähellä luokitteluongelmaa. Tilanteet ovat luokituksen alaisia, joiden ominaisuudet syötetään neuroverkon tuloon. Verkon ulostulossa pitäisi näkyä merkki sen tekemästä päätöksestä. Tällöin tulosignaaleina käytetään erilaisia ​​kriteerejä ohjatun järjestelmän tilan kuvaamiseksi [19] .

Klusterointi

Klusteroinnilla tarkoitetaan tulosignaalijoukon jakamista luokkiin huolimatta siitä, että luokkien lukumäärää tai ominaisuuksia ei tiedetä etukäteen. Harjoittelun jälkeen tällainen verkko pystyy määrittämään, mihin luokkaan tulosignaali kuuluu. Verkko voi myös signaloida, että tulosignaali ei kuulu mihinkään valituista luokista - tämä on merkki siitä, että opetusnäytteestä puuttuu uutta dataa. Siten tällainen verkko voi havaita uusia, aiemmin tuntemattomia signaaliluokkia . Verkoston tunnistamien luokkien ja aihealueella olevien luokkien välisen vastaavuuden määrittää henkilö. Klusterointia toteuttavat esimerkiksi Kohosen hermoverkot .

Kohosen yksinkertaisessa versiossa hermoverkot eivät voi olla valtavia, joten ne jaetaan hyperkerroksiin (hyperkolumniin) ja ytimiin (mikrosarakkeisiin). Ihmisaivoihin verrattuna rinnakkaisten kerrosten ihanteellinen lukumäärä ei saisi ylittää 112:ta. Nämä kerrokset puolestaan ​​muodostavat hyperkerroksia (hyperkolumneja), joissa on 500 - 2000 mikropylväitä (ytimiä). Lisäksi jokainen kerros on jaettu joukkoon hyperpylväitä, jotka tunkeutuvat näiden kerrosten läpi. Mikrosarakkeet on koodattu numeroilla ja yksiköillä ulostulossa saaduilla tuloksilla. Tarvittaessa ylimääräisiä kerroksia ja hermosoluja poistetaan tai lisätään. On ihanteellista käyttää supertietokonetta neuronien ja kerrosten määrän valitsemiseen. Tällainen järjestelmä sallii neuroverkkojen olla muovia.

Käytetyt hermoverkkoarkkitehtuurit
  • Oppiminen ilman opettajaa:

Ennustaminen

Neuraaliverkon kyky ennustaa seuraa suoraan sen kyvystä yleistää ja korostaa piilotettuja riippuvuuksia tulo- ja lähtötietojen välillä. Harjoittelun jälkeen verkko pystyy ennustamaan tietyn sekvenssin tulevan arvon useiden aikaisempien arvojen ja (tai) joidenkin tällä hetkellä olemassa olevien tekijöiden perusteella. Ennustaminen on mahdollista vain silloin, kun aikaisemmat muutokset todella jossain määrin määräävät tulevaisuuden . Esimerkiksi osakehintojen ennustaminen viime viikon osakehintojen perusteella voi onnistua tai ei onnistu, kun taas huomisen lottotulosten ennustaminen viimeisen 50 vuoden tietojen perusteella epäonnistuu lähes varmasti.

Käytetyt hermoverkkoarkkitehtuurit
  • Koulutus opettajan kanssa:
  • Sekalaista oppimista:

Arviointi

Neuroverkot voivat approksimoida jatkuvia toimintoja. Yleistetty approksimaatiolause [ 20] todistettiin : käyttämällä lineaarisia operaatioita ja kaskadikytkentää on mahdollista saada mielivaltaisesta epälineaarisesta elementistä laite, joka laskee minkä tahansa jatkuvan funktion tietyllä ennalta määrätyllä tarkkuudella . Tämä tarkoittaa, että hermosolun epälineaarinen ominaisuus voi olla mielivaltainen: sigmoidista mielivaltaiseen aaltopakettiin tai aallokkoon , siniin tai polynomiin . Tietyn verkon monimutkaisuus voi riippua epälineaarisen funktion valinnasta , mutta millä tahansa epälineaarisuudella verkko pysyy universaalina approksimaattorina ja oikealla rakenteen valinnalla voi tarkasti arvioida minkä tahansa jatkuvan automaatin toiminnan.

Käytetyt hermoverkkoarkkitehtuurit
  • Koulutus opettajan kanssa:
  • Sekalaista oppimista:

Tietojen pakkaus ja assosiatiivinen muisti

Neuraaliverkkojen kyky tunnistaa eri parametrien välisiä suhteita mahdollistaa korkeadimensionaalisen datan ilmaisemisen kompaktimmin, jos data on tiiviisti yhteydessä toisiinsa. Käänteistä prosessia - alkuperäisen tietojoukon palauttamista tiedosta - kutsutaan (auto)assosiatiiviseksi muistiksi. Assosiatiivisen muistin avulla voit myös palauttaa alkuperäisen signaalin/kuvan kohinaisista/vaurioituneista tulotiedoista. Heteroassosiatiivisen muistin ongelman ratkaiseminen mahdollistaa sisältöosoitteellisen muistin toteuttamisen [19] .

Tietojen analysointi

Käytetyt hermoverkkoarkkitehtuurit
  • Koulutus opettajan kanssa:
  • Oppiminen ilman opettajaa:

Optimointi

Käytetyt hermoverkkoarkkitehtuurit
  • Oppiminen ilman opettajaa:

Ongelmanratkaisun vaiheet

  • Tiedonkeruu koulutusta varten;
  • Tietojen valmistelu ja normalisointi;
  • Verkkotopologian valinta;
  • Verkon ominaisuuksien kokeellinen valinta;
  • Harjoitteluparametrien kokeellinen valinta;
  • todellinen koulutus;
  • koulutuksen riittävyyden tarkistaminen;
  • Parametrien säätö, loppukoulutus;
  • Verbalisointi [21] myöhempää käyttöä varten.

Joitakin näistä vaiheista tulisi harkita yksityiskohtaisemmin.

Tiedonkeruu koulutusta varten

Tietojen valinta verkkokoulutukseen ja niiden käsittely on vaikein vaihe ongelman ratkaisemisessa. Harjoittelutietojoukon on täytettävä useita ehtoja:

  • Edustavuus – tietojen tulee havainnollistaa aihealueen todellista tilannetta;
  • Johdonmukaisuus − Epäjohdonmukaiset tiedot koulutussarjassa johtavat huonoon verkkokoulutuksen laatuun.

Alkutiedot muunnetaan sellaiseen muotoon, jossa ne voidaan lähettää verkon tuloihin. Jokaista tietotiedoston merkintää kutsutaan harjoituspariksi tai harjoitusvektoriksi . Koulutusvektori sisältää yhden arvon jokaiselle verkkotulolle ja koulutustyypistä (valvottu tai valvomaton) riippuen yhden arvon jokaiselle verkkolähdölle. Verkon kouluttaminen "raaka-aineella" ei yleensä anna korkealaatuisia tuloksia. On olemassa useita tapoja parantaa verkon "näkemystä".

  • Normalisointi suoritetaan, kun eri mittaisia ​​tietoja syötetään eri tuloihin. Esimerkiksi arvot, joiden arvot ovat nollasta yhteen, syötetään verkon ensimmäiseen tuloon, ja arvot sadasta tuhanteen syötetään toiseen tuloon. Normalisoinnin puuttuessa toisen tulon arvoilla on aina huomattavasti suurempi vaikutus verkon ulostuloon kuin ensimmäisen tulon arvoilla. Normalisoitaessa kaikkien tulo- ja lähtötietojen mitat yhdistetään;
  • Kvantisointi suoritetaan jatkuville suureille, joille on varattu rajallinen joukko diskreettejä arvoja. Kvantisointia käytetään esimerkiksi äänisignaalien taajuuksien asettamiseen puheentunnistuksessa;
  • Suodatus suoritetaan "kohinaisille" tiedoille.

Lisäksi sekä syöttö- että lähtötietojen esittämisellä on tärkeä rooli. Oletetaan, että verkko on koulutettu tunnistamaan kirjaimia kuvissa ja sillä on yksi numeerinen tulos - kirjaimen numero aakkostossa. Tässä tapauksessa verkko saa väärän vaikutelman, että kirjaimet numeroilla 1 ja 2 ovat samankaltaisempia kuin kirjaimet numeroilla 1 ja 3, mikä ei yleensä pidä paikkaansa. Tällaisen tilanteen välttämiseksi käytetään verkkotopologiaa, jossa on suuri määrä lähtöjä, jolloin jokaisella lähdöllä on oma merkityksensä. Mitä enemmän lähtöjä verkossa on, sitä suurempi on luokkien välinen etäisyys ja sitä vaikeampi on sekoittaa niitä.

Verkkotopologian valinta

Verkon tyyppi tulee valita ongelman ja käytettävissä olevien koulutustietojen perusteella. Ohjattu oppiminen vaatii "asiantuntija-arvioinnin" jokaiselle otoksen elementille. Joskus tällaisen arvion saaminen suurelle tietomäärälle on yksinkertaisesti mahdotonta. Näissä tapauksissa luonnollinen valinta on ohjaamaton oppimisverkko (esim. Kohosen itseorganisoituva kartta tai Hopfield-hermoverkko ). Muita ongelmia ratkaistaessa (kuten aikasarjaennusteissa) asiantuntija-arvio sisältyy jo alkuperäiseen dataan ja se voidaan poimia käsittelyn aikana. Tässä tapauksessa voit käyttää monikerroksista perceptronia[ selventää ] tai Word - verkkoa .

Verkon ominaisuuksien kokeellinen valinta

Yleisen rakenteen valinnan jälkeen on tarpeen kokeellisesti valita verkkoparametrit. Perceptronin kaltaisissa verkoissa tämä on kerrosten lukumäärä, piilotettujen kerrosten lohkojen määrä (Word-verkot), ohitusyhteyksien olemassaolo tai puuttuminen ja neuronien siirtotoiminnot. Kerrosten ja niissä olevien neuronien lukumäärää valittaessa tulee lähteä siitä, että mitä suurempi on verkon yleistyskyky, mitä suurempi on neuronien välisten yhteyksien kokonaismäärä . Toisaalta yhteyksien määrää rajoittaa ylhäältä koulutustiedon tietueiden määrä.

Oppimisparametrien kokeellinen valinta

Kun olet valinnut tietyn topologian, on tarpeen valita neuroverkon koulutusparametrit. Tämä vaihe on erityisen tärkeä valvotuissa verkoissa . Parametrien oikea valinta ei määrää vain sitä, kuinka nopeasti verkon vastaukset konvergoivat oikeiksi vastauksiksi. Esimerkiksi alhaisen oppimisnopeuden valitseminen pidentää lähentymisaikaa, mutta joskus vältetään verkon halvaantuminen . Oppimismomentin kasvattaminen voi joko lisätä tai vähentää konvergenssiaikaa virhepinnan muodosta riippuen . Parametrien tällaisen ristiriitaisen vaikutuksen perusteella voidaan päätellä, että niiden arvot tulisi valita kokeellisesti oppimisen suorittamiskriteerin ohjaamana (esimerkiksi virheen minimoiminen tai harjoitusajan rajoittaminen).

Verkkokoulutus

Oppimisprosessin aikana verkko skannaa harjoitusnäytteen tietyssä järjestyksessä. Selausjärjestys voi olla peräkkäinen, satunnainen jne. Jotkut valvomattomat verkot ( esimerkiksi Hopfield-verkot ) skannaavat näytteen vain kerran. Toiset (kuten Kohosen verkot ), samoin kuin valvotut verkot, skannaavat näytettä useita kertoja, jolloin yhtä täydellistä näytteen läpikulkua kutsutaan oppimisjaksoksi . Opettajan kanssa opiskellessa lähtötietojoukko jaetaan kahteen osaan - varsinaiseen harjoitusnäytteeseen ja testitietoihin; erotteluperiaate voi olla mielivaltainen. Harjoitusdata syötetään verkkoon harjoittelua varten ja testitiedoista lasketaan verkon virhe (testitietoja ei koskaan käytetä verkon kouluttamiseen). Siten jos virhe pienenee testitiedoissa, verkko yleistyy. Jos harjoitustietojen virhe pienenee edelleen ja testidatan virhe kasvaa, verkko on lopettanut yleistämisen ja yksinkertaisesti "muistaa" harjoitustiedot. Tätä ilmiötä kutsutaan verkon ylisovitukseksi tai ylisovitukseksi . Tällaisissa tapauksissa harjoittelu yleensä keskeytetään. Harjoitteluprosessin aikana saattaa ilmetä muita ongelmia, kuten halvaantuminen tai verkon joutuminen virhepinnan paikalliseen minimiin. On mahdotonta ennustaa etukäteen tietyn ongelman ilmenemistä sekä antaa yksiselitteisiä suosituksia niiden ratkaisemiseksi.

Kaikki yllä oleva koskee vain iteratiivisia algoritmeja hermoverkkoratkaisujen löytämiseksi. Heille ei todellakaan voida taata mitään ja on mahdotonta automatisoida neuroverkkojen koulutusta täysin. Iteratiivisten oppimisalgoritmien ohella on kuitenkin ei-iteratiivisia algoritmeja, joilla on erittäin korkea vakaus ja joiden avulla voit automatisoida oppimisprosessin täysin .

Koulutuksen riittävyyden tarkistaminen

Jopa onnistuneen, ensi silmäyksellä koulutuksen tapauksessa verkosto ei aina opi tarkalleen, mitä luoja halusi siltä. Tiedossa on tapaus, jossa verkkoa on koulutettu tunnistamaan tankkien kuvat valokuvista, mutta myöhemmin kävi ilmi, että kaikki tankit on kuvattu samaa taustaa vasten. Tämän seurauksena verkko "oppii" tunnistamaan tämän tyyppisen maaston sen sijaan, että "oppii" tunnistamaan tankit [22] . Siten verkosto ei "ymmärrä" sitä, mitä siltä vaadittiin, vaan sitä, mikä on helpoin yleistää.

Neuroverkkokoulutuksen laadun testaus tulisi suorittaa esimerkeillä, jotka eivät osallistuneet sen koulutukseen. Testitapausten määrän tulisi olla sitä suurempi, mitä korkeampi koulutuksen laatu on. Jos hermoverkkovirheiden todennäköisyys on lähellä miljardisosaa, tämän todennäköisyyden vahvistamiseen tarvitaan miljardi testitapausta. Osoittautuu, että hyvin koulutettujen hermoverkkojen testaamisesta tulee erittäin vaikea tehtävä.

Luokittelu syötetietojen tyypin mukaan

  • Analogiset neuroverkot (käyttää tietoa reaalilukujen muodossa);
  • Binaariset hermoverkot (toimivat binäärimuodossa esitetyllä tiedolla);
  • Figuratiiviset hermoverkot (toimivat kuvien muodossa esitetyllä tiedolla: merkit, hieroglyfit, symbolit).

Luokittelu koulutuksen luonteen mukaan

  • Ohjattu oppiminen  - hermoverkon lähtöpäätösavaruus tunnetaan;
  • Ohjaamaton oppiminen  − Neuraaliverkko luo lähtöpäätösavaruuden vain syöttötoimintojen perusteella. Tällaisia ​​verkostoja kutsutaan itseorganisoituviksi;
  • Vahvistusoppiminen  on järjestelmä seuraamusten ja palkkioiden määrittämiseksi ympäristöstä.

Luokittelu synapsin virityksen luonteen mukaan

  • Kiinteillä yhteyksillä varustetut verkot (hermoverkon painot valitaan välittömästi tehtävän ehtojen perusteella, kun taas: , missä W ovat verkon painot);
  • Verkot, joissa on dynaamisia yhteyksiä (niille oppimisprosessin aikana synaptisia yhteyksiä säädetään, eli , missä W ovat verkon painokertoimet).

Luokittelu signaalin lähetysajan mukaan

Useissa hermoverkoissa aktivointitoiminto voi riippua paitsi yhteyksien painokertoimista , myös impulssin (signaalin) lähetysajasta viestintäkanavien kautta . Siksi yleensä yhteyden aktivoiva (siirto) funktio elementistä elementtiin on muotoa: . Synkroninen verkko on silloin sellainen verkko, jossa kunkin yhteyden lähetysaika on joko nolla tai kiinteä vakio . Asynkroninen verkko on verkko, jossa kunkin elementin välisen yhteyden lähetysaika on erilainen , mutta myös vakio.

Luokittelu yhteyksien luonteen mukaan

Feed-forward neuroverkot

Feedforward -  hermoverkoissa kaikki yhteydet on suunnattu tiukasti tulohermosoluista lähtöhermosoluihin. Esimerkkejä tällaisista verkoista ovat Rosenblattin perceptron , monikerroksinen perceptron , Word-verkot .

Toistuvat neuroverkot

Lähtöhermosolujen tai piilokerroksen hermosolujen signaali välitetään osittain takaisin tulokerroksen hermosolujen sisääntuloihin ( palaute ). Toistuva Hopfield-verkko "suodattaa" syötetyn datan palaten vakaaseen tilaan ja mahdollistaa siten tiedon pakkaamisen ja assosiatiivisen muistin rakentamisen ongelmien ratkaisemisen [23] . Kaksisuuntaiset verkot ovat toistuvien verkkojen erikoistapaus. Tällaisissa verkoissa kerrosten välillä on yhteyksiä sekä tulokerroksesta lähtökerrokselle että vastakkaiseen suuntaan. Klassinen esimerkki on Coscon hermoverkko .

Radiaaliset kantafunktiot

On kehitetty hermoverkkoja, jotka käyttävät radiaaliperusverkkoja (kutsutaan myös RBF-verkkoja) aktivointitoimintoina. Yleisnäkymä säteittäiskantafunktiosta:

, esimerkiksi,

missä  on neuronien tulosignaalien vektori,  on funktioikkunan leveys,  on laskeva funktio (useimmiten nolla tietyn segmentin ulkopuolella).

Säteittäiselle perusverkolle on tunnusomaista kolme ominaisuutta:

  1. Ainoa piilotettu kerros;
  2. Vain piilotetun kerroksen neuroneilla on epälineaarinen aktivointitoiminto;
  3. Tulo- ja piilokerrosten yhteyksien synaptiset painot ovat yhtä.

Itseorganisoituvat kartat

Tällaiset verkot ovat valvomaton kilpaileva neuroverkko , joka suorittaa visualisoinnin ja klusteroinnin . Se on menetelmä moniulotteisen avaruuden projisoimiseksi pienemmän ulottuvuuden (useimmiten kaksiulotteisen) tilaan, sitä käytetään myös mallinnus-, ennustamis- yms. ongelmien ratkaisemiseen. Se on yksi Kohosen hermoverkkojen versioista [ 24] . Kohosen itseorganisoituvat kartat palvelevat ensisijaisesti visualisointia ja alustavaa (”tiedustelu”) data-analyysiä [25] .

Kohosen verkkoon menevä signaali menee kaikkiin hermosoluihin kerralla, vastaavien synapsien painot tulkitaan solmun sijainnin koordinaatteiksi ja lähtösignaali muodostetaan ”voittaja vie kaiken” -periaatteen mukaisesti - eli Tulosignaalia lähimpänä (synapsipainojen merkityksessä) neuronilla on nollasta poikkeava lähtösignaaliobjekti. Oppimisprosessin aikana synapsien painoja säädetään siten, että hilasolmut "sijoittuvat" paikallisen tiedon tiivistymisen paikkoihin, eli ne kuvaavat datapilven klusterirakennetta, toisaalta neuronien välisiä yhteyksiä. vastaavat naapuruussuhteita vastaavien klusterien välillä piirreavaruudessa.

Tällaisia ​​karttoja on kätevää pitää moniulotteisessa tilassa sijaitsevien solmujen kaksiulotteisina ruudukoina. Aluksi itseorganisoituva kartta on linkeillä yhdistettyjen solmujen ruudukko. Kohonen tarkasteli kahta vaihtoehtoa solmujen yhdistämiseksi - suorakulmaisessa ja kuusikulmaisessa ruudukossa - erona on, että suorakaiteen muotoisessa ruudukossa kukin solmu on kytketty 4 viereiseen solmuun ja kuusikulmaisessa - kuuteen lähimpään solmuun. Kahdella tällaisella ruudukolla Kohosen verkon rakentamisprosessi eroaa vain siinä paikassa, jossa tietyn solmun lähimmät naapurit kulkevat.

Verkon alkuperäinen sisäkkäisyys tietoavaruudessa valitaan mielivaltaisesti. Tekijän SOM_PAK-paketti tarjoaa vaihtoehtoja solmujen satunnaiseen alkusijaintiin avaruudessa ja muunnelman solmujen sijainnille tasossa. Sen jälkeen solmut alkavat liikkua avaruudessa seuraavan algoritmin mukaisesti:

  1. Datapiste valitaan satunnaisesti .
  2. Lähin karttasolmu (BMU - Best Matching Unit) määritetään.
  3. Tämä solmu siirtää annetun askeleen kohti . Se ei kuitenkaan liiku yksin, vaan kuljettaa mukanaan tietyn määrän lähimpiä solmuja jostain kartan naapurustosta. Kaikista liikkuvista solmuista datapistettä lähinnä oleva keskussolmu on voimakkaimmin siirtynyt, ja loput kokevat sitä pienempiä siirtymiä, mitä kauempana ne ovat BMU:sta. Kartan virittämisessä on kaksi vaihetta - karkea ( järjestys ) ja hienosäätö ( hienosäätö ). Ensimmäisessä vaiheessa valitaan suuret naapurustojen arvot ja solmujen liike on kollektiivista - seurauksena kartta "levittää" ja heijastaa karkeasti tietorakennetta; hienosäätövaiheessa lähialueen säde on 1-2 ja solmujen yksittäiset paikat on jo säädetty. Lisäksi bias-arvo pienenee tasaisesti ajan myötä, eli se on suuri jokaisen harjoitusvaiheen alussa ja lähellä nollaa lopussa.
  4. Algoritmi toistuu tietyn määrän aikakausia (on selvää, että vaiheiden määrä voi vaihdella suuresti tehtävästä riippuen).

Tunnetut verkkotyypit

Erot von Neumannin arkkitehtuurikoneista

Neuroverkkoihin perustuvilla laskentajärjestelmillä on useita ominaisuuksia, jotka puuttuvat von Neumann -arkkitehtuurilla varustetuista koneista (mutta jotka ovat luontaisia ​​ihmisaivoille):

Käyttöesimerkkejä

Taloudellisten aikasarjojen ennuste

Syöttötietona on vuoden osakekurssi. Tehtävänä on päättää huomisen kurssi. Seuraava muutos suoritetaan - tämän päivän, eilisen, toissapäivän kurssi on rivissä. Seuraavaa riviä siirretään päiväyksen mukaan päivällä ja niin edelleen. Tuloksena olevaan joukkoon koulutetaan verkko, jossa on 3 tuloa ja yksi lähtö - eli lähtö: kurssi tähän päivään, tulot: kurssi tähän päivään miinus 1 päivä, miinus 2 päivää, miinus 3 päivää. Koulutetulle verkostolle syötetään tämän päivän, eilisen, toissapäivän kurssi ja se saa vastauksen huomiselle. Tässä tapauksessa verkko näyttää yhden parametrin riippuvuuden kolmesta edellisestä. Jos halutaan ottaa huomioon jokin muu parametri (esimerkiksi alan yleisindeksi), se on lisättävä syötteeksi (ja sisällytettävä esimerkeihin), koulutettava verkosto uudelleen ja saatava uusia tuloksia. Tarkimman koulutuksen saavuttamiseksi kannattaa käyttää ORO-menetelmää ennustettavimpana ja helpoimpana toteuttaa.

Psykodiagnostiikka

Sarja M. G. Dorrerin ja muiden kirjoittajien teoksia on omistettu tutkimaan mahdollisuuksia kehittää psykologista intuitiota hermoverkkoasiantuntijajärjestelmissä [ 27] [28] . Saadut tulokset tarjoavat lähestymistavan paljastaa hermoverkkojen intuitiomekanismi, joka ilmenee, kun ne ratkaisevat psykodiagnostisia ongelmia. Psykodiagnostiikkaan on luotu intuitiivinen , tietokonemenetelmille epästandardi lähestymistapa , joka sisältää kuvatun todellisuuden rakentamisen poissulkemisen . Sen avulla voit vähentää ja yksinkertaistaa psykodiagnostisten menetelmien työtä.

Kemoinformatiikka

Neuroverkkoja käytetään laajasti kemiallisessa ja biokemiallisessa tutkimuksessa [29] . Tällä hetkellä hermoverkot ovat yksi yleisimmistä kemoinformatiikan menetelmistä kvantitatiivisten rakenne-ominaisuus-suhteiden etsimiseen [30] [31] , minkä vuoksi niitä käytetään aktiivisesti sekä kemiallisten yhdisteiden fysikaalis-kemiallisten ominaisuuksien ja biologisen aktiivisuuden ennustamiseen että mm. kemiallisten yhdisteiden, yhdisteiden ja materiaalien, joilla on ennalta määrätyt ominaisuudet, suunnattu suunnittelu, mukaan lukien uusien lääkkeiden kehittäminen.

Neurofeedback

Neuroverkkoja käytetään menestyksekkäästi dynaamisten objektien ohjausjärjestelmien synteesiin [32] [33] .

Ohjauksen alalla hermojärjestelmiä käytetään kohteen tunnistusongelmissa, ennustamisen ja diagnostiikan algoritmeissa sekä optimaalisen ACS:n synteesissä. ANN-pohjaisen ACP:n toteuttamiseksi neurosirujen ja neurokontrollerien (NC) tuotantoa kehitetään parhaillaan intensiivisesti .

Tietyssä mielessä ANN on aivosimulaattori , jolla on kyky oppia ja navigoida epävarmoissa olosuhteissa. Keinotekoinen hermoverkko on kahdessa suhteessa samanlainen kuin aivot. Verkko hankkii tietoa oppimisprosessissa, ja tiedon tallentamiseen se ei käytä itse esineitä, vaan niiden yhteyksiä - hermosolujen välisten yhteyksien kertoimien arvoja, joita kutsutaan synaptisiksi painoiksi tai synaptisiksi kertoimiksi.

ANN-oppimismenettely koostuu synaptisten painojen tunnistamisesta, jotka antavat sille tarvittavat muunnosominaisuudet. ANN:n ominaisuus on sen kyky muuttaa parametreja ja rakennetta oppimisprosessissa. [34]

Taloustiede

Neuroverkkoalgoritmeja käytetään laajasti taloustieteessä [35] . Neuraaliverkkojen avulla ratkaistaan ​​algoritmien kehittämisongelma taloudellisten objektien (yritys, toimiala, alue) toimintamallien analyyttisen kuvauksen löytämiseksi. Näitä algoritmeja sovelletaan joidenkin objektien "lähtö"-indikaattoreiden ennustamiseen. Neuroverkkomenetelmien käyttö mahdollistaa joidenkin taloudellisen ja tilastollisen mallinnuksen ongelmien ratkaisemisen, matemaattisten mallien riittävyyden lisäämisen ja niiden tuomisen lähemmäksi taloudellista todellisuutta [36] . Koska talous-, rahoitus- ja sosiaaliset järjestelmät ovat hyvin monimutkaisia ​​ja ovat seurausta ihmisten toimista ja reaktioista, täydellisen matemaattisen mallin luominen , jossa otetaan huomioon kaikki mahdolliset toimet ja reaktiot, on erittäin vaikea (jos ratkaistavissa) tehtävä. Tämän monimutkaisissa järjestelmissä on luonnollista ja tehokkainta käyttää malleja, jotka jäljittelevät suoraan yhteiskunnan ja talouden käyttäytymistä. Juuri tämän neuroverkkojen metodologia [37] voi tarjota .

Katso myös

Muistiinpanot

Kommentit

  1. ↑ Tunnetun koneoppimisasiantuntijan Yang LeCunin mukaan koneoppiminen on keinotekoisiin hermoverkkoihin perustuvan ajattelun toistoa [4]

Alaviitteet

  1. ↑ Neuraaliverkko  // Suuri venäläinen tietosanakirja  : [35 nidettä]  / ch. toim. Yu. S. Osipov . - M .  : Suuri venäläinen tietosanakirja, 2004-2017.
  2. ↑ 1 2 McCulloch W. S. , Pitts W. Hermostotoimintaan liittyvien ideoiden looginen laskelma Arkistoitu 27. marraskuuta 2007 Wayback Machinessa // Automata / Ed. C. E. Shannon ja J. McCarthy. — M .: Izd-vo inostr. lit., 1956. - S. 363-384. (Käännös vuoden 1943 englanninkielisestä artikkelista)
  3. ↑ Gorban A.N. Keitä me olemme, minne olemme menossa, kuinka mitata polkuamme? Arkistoitu kopio 14. elokuuta 2009 Wayback Machinen täysistunnossa Neuroinformatics-99- konferenssin avajaisissa (MEPhI, 20. tammikuuta 1999). Lehden versio: Gorban A. N. Neuroinformatiikka: keitä olemme, minne olemme menossa, kuinka mitata polkuamme // Laskennalliset tekniikat. - M . : Mashinostroenie. - 2000. - Nro 4. - S. 10-14. = Gorban AN Neuroinformatiikka: Mitä me olemme, minne olemme menossa, miten mitataan tiemme? Arkistoitu 17. helmikuuta 2016 Wayback Machinessa The Lecture at the USA-NIS Neurocomputing Opportunities Workshop, Washington DC, heinäkuu 1999 (Associated with IJCNN'99) .
  4. ↑ LeCun, 2021 , s. 78.
  5. ↑ N. Wiener. Kybernetiikka. 2. painos, 1961, ch. minä
  6. ↑ Golubev, 2007 , s. neljä.
  7. ↑ Kuvioiden tunnistus ja mukautuva ohjaus. BERNARD LESK . Haettu 9. helmikuuta 2009. Arkistoitu alkuperäisestä 22. kesäkuuta 2010.
  8. ↑ Widrow B., Stearns S. Mukautuva signaalinkäsittely. - M . : Radio ja viestintä, 1989. - 440 s.
  9. ↑ Petrov A.P.  Perceptronin kyvyistä // Neuvostoliiton tiedeakatemian julkaisut, tekninen kybernetiikka. - 1964. - Nro 6 .
  10. ↑ Bongard M. M.  Tunnustamisen ongelmat. - M .: Fizmatgiz, 1967.
  11. ↑ Golubev, 2007 , s. 5.
  12. ↑ Khakimov B. B. Korrelaatioriippuvuuksien mallinnus splineillä geologian ja ekologian esimerkeissä. - M . : Moskovan kustantamo. yliopisto; SPb. : Neva, 2003. - 144 s.
  13. ↑ Werbos PJ Beyond Regression: Uudet työkalut ennustamiseen ja analysointiin käyttäytymistieteissä. — Ph. D. väitöskirja, Harvard University, Cambridge, MA, 1974.
  14. ↑ Galushkin A.I. Monikerroksisten kuvioiden tunnistusjärjestelmien synteesi. - M . : Energia, 1974.
  15. ↑ Rumelhart DE, Hinton GE, Williams RJ , Learning Internal Representations by Error Propagation. Julkaisussa: Parallel Distributed Processing, voi. 1, s. 318-362. Cambridge, MA, MIT Press. 1986.
  16. ↑ Rumelhart DE, Hinton GE, Williams RJ Sisäisten esitysten oppiminen virheiden leviämisen avulla // Rinnakkaishajautettu käsittely. Voi. 1. - Cambridge, MA: MIT Press, 1986. S. 318-362.
  17. ↑ Bartsev S.I., Okhonin V.A. Tietojenkäsittelyn mukautuvat verkot. - Krasnojarsk: Fysiikan instituutti SO AN USSR, 1986. Preprint N 59B. – 20 s.
  18. ↑ Tämän tyyppistä koodausta kutsutaan joskus "1 out of N" -koodiksi.
  19. ↑ 1 2 Open Systems - Johdatus hermoverkkoihin Arkistoitu 31. lokakuuta 2005 Wayback Machinessa
  20. ↑ Gorban A. N. Yleistetty approksimaatiolause ja neuroverkkojen laskentaominaisuudet Arkistokopio päivätty 27. tammikuuta 2012 Wayback Machinessa // Siberian Journal of Computational Mathematics , 1998, osa 1, nro 1. - P. 12-24.
  21. ↑ Mirkes E. M. Loogisesti läpinäkyvät neuroverkot ja eksplisiittisen tiedon tuottaminen tiedoista Arkistokopio 4. helmikuuta 2019 Wayback Machinessa // Neuroinformatiikka / A. N. Gorban, V. L. Dunin-Barkovsky, A. N. Kirdin et al. - Novosibirsk: Science. Venäjän tiedeakatemian Siperian yritys, 1998. - 296 s. — ISBN 5-02-031410-2 .
  22. ↑ Mainitse tämä tarina Popular Mechanicsissa . Haettu 16. huhtikuuta 2012. Arkistoitu alkuperäisestä 8. syyskuuta 2011.
  23. ↑ INTUIT.ru - Toistuvat verkot assosiatiivisina tallennusvälineinä . Haettu 5. lokakuuta 2007. Arkistoitu alkuperäisestä 17. joulukuuta 2007.
  24. ↑ Kohonen T. Itseorganisoituvat kartat. 3. painos. - Berliini - New York: Springer-Verlag, 2001 / - ISBN 0-387-51387-6 , ISBN 3-540-67921-9 .
  25. ↑ Zinoviev A. Yu.  Moniulotteisen datan visualisointi . - Krasnojarsk: Krasnojarskin osavaltion kustantamo. tekniikka. un-ta, 2000. - 180 s.
  26. ↑ Martinetz TM, Berkovich SG, Schulten KJ Neuraalikaasuverkko vektorikvantisointiin ja sen soveltamiseen aikasarjan ennustamiseen Arkistoitu 16. heinäkuuta 2019 Wayback Machinessa // IEEE Trans. on Neural Networks, 1993, no. 4. - P. 558-569. PCA - verkkosivustolta Arkistoitu 16. maaliskuuta 2019 Wayback Machinessa
  27. ↑ Gorban AN, Rossiyev DA, Dorrer MG MultiNeuron – hermoverkkosimulaattori lääketieteellisiin, fysiologisiin ja psykologisiin sovelluksiin Arkistoitu 17. helmikuuta 2016 Wayback Machinessa // Wcnn'95, Washington, DC: World Congress on Neural Networks, 1995. Neural Network Societyn vuosikokous: Renaissance Hotel, Washington, DC, USA, 17.-21. heinäkuuta 1995.
  28. ↑ Dorrer M.G. Keinotekoisten hermoverkkojen psykologinen intuitio Arkistoitu 25. maaliskuuta 2009 at the Wayback Machine , Diss. … 1998. Muut kopiot verkossa: [1] Arkistoitu 28. huhtikuuta 2009 Wayback Machinessa , [2] Arkistoitu 7. huhtikuuta 2009 Wayback Machinessa
  29. ↑ Baskin I. I., Palyulin V. A., Zefirov N. S. Keinotekoisten hermoverkkojen soveltaminen kemiallisessa ja biokemiallisessa tutkimuksessa Arkistokopio päivätty 10. heinäkuuta 2007 Wayback Machinessa // Vestn . Moskova yliopisto Ser. 2. Kemia . 1999. V. 40. Nro 5.
  30. ↑ Galbershtam N. M., Baskin I. I., Palyulin V. A., Zefirov N. S.  Neuroverkot menetelmänä orgaanisten yhdisteiden rakenne-ominaisuusriippuvuuksien etsimiseen  // Uspekhi khimii . - Venäjän tiedeakatemia , 2003. - T. 72 , nro 7 . - S. 706-727 .
  31. ↑ Baskin I. I., Palyulin V. A., Zefirov N. S.  Monikerroksiset perceptronit orgaanisten yhdisteiden rakenne-ominaisuussuhteiden tutkimuksessa // Russian Chemical Journal (D. I. Mendeleevin mukaan nimetty Venäjän kemian seuran lehti). - 2006. - T. 50 . - S. 86-96 .
  32. ↑ Shigeru, Marzuki, Rubia, 2000 .
  33. ↑ Chernodub A. N., Dzyuba D. A. Yleiskatsaus neurocontrol-menetelmiin Arkistoitu 13. tammikuuta 2012 Wayback Machinessa // Ohjelmointiongelmat . - 2011. - nro 2. - S. 79-94.
  34. ↑ Sabanii V. R. Neuraaliverkkotekniikoihin perustuvat automaattiset ohjausjärjestelmät / V. R. Sabanin, N. I. Smirnov, A. I. Repin // Proceedings of the International Scientific Conference Control-2003. M.: MEI Publishing House, 2003.S. 45-51.
  35. ↑ Kalatskaya L. V., Novikov V. A., Sadov V. S. Keinotekoisten hermoverkkojen organisointi ja koulutus: kokeelliset tutkimukset. korvaus. - Minsk: BSU Publishing House, 2003. - 72 s.
  36. ↑ Kenin A. M., Mazurov V. D. Kokemus hermoverkkojen käytöstä talousongelmissa Arkistokopio 2. huhtikuuta 2013 Wayback Machinessa
  37. ↑ [3] Neuroverkot taloustieteessä

Kirjallisuus

  • Berkinblit M. B.  Neuraaliverkot . - M .: MIROS ja VZMSH RAO, 1993. - 96 s. — ISBN 5-7084-0026-9 . Arkistoitu12. toukokuuta 2011Wayback Machinessa
  • Voronovsky G. K., Makhotilo K. V., Petrashev S. N., Sergeev S. A.  Geneettiset algoritmit, keinotekoiset hermoverkot ja virtuaalitodellisuuden ongelmat. - Kharkov: Osnova, 1997. - 112 s. — ISBN 5-7768-0293-8 .
  • Golubev Yu. F.  Neuraaliverkkomenetelmät mekatroniikassa. - M . : Moskovan kustantamo. unta, 2007. - 157 s. — ISBN 978-5-211-05434-9 .
  • Gorban A.N.   Neuroverkkojen koulutus . - M. : Neuvostoliitto-USA SP "Kappale", 1990. - 160 s.
  • Gorban A.N., Rossiev D.A.   Neuroverkot henkilökohtaisessa tietokoneessa . - Novosibirsk: Nauka, 1996. - 276 s. — ISBN 5-02-031196-0 .
  • Gorban A. N., Dunin-Barkovsky V. L. et ai.,  Neuroinformatics . - Novosibirsk: Nauka, 1998.
  • Goodfellow Y., Bengio I., Courville A. Deep Learning = Deep Learning. — M. : DMK-Press , 2017. — 652 s. - ISBN 978-5-97060-554-7 .
  • Eremin D. M., Gartseev I. B.  Keinotekoiset hermoverkot älykkäissä ohjausjärjestelmissä. - M .: MIREA, 2004. - 75 s. - ISBN 5-7339-0423-2 .
  • Callan R. Essential Neural Network Concepts = The Essence of Neural Networks First Edition. - M .: Williams, 2001. - 288 s. — ISBN 5-8459-0210-X .
  • Kruglov V. V. , Borisov V. V.  Keinotekoiset hermoverkot. Teoria ja käytäntö. - M . : Hot line - Telecom, 2001. - 382 s. — ISBN 5-93517-031-0 .
  • Mirkes E. M.  Neurocomputer. Standardin luonnos . - Novosibirsk: Nauka, 1999. - 337 s. — ISBN 5-02-031409-9 . Muut kopiot verkossa:Neurocomputer. Standardin luonnos.
  • Nikolenko S. , Kadurin A., Arkhangelskaya E. Deep learning. - Pietari. : Peter , 2018. - 480 s. - ISBN 978-5-496-02536-2 .
  • Osovski Stanislav. Neuroverkot tiedonkäsittelyyn = Sieci neuronowe do przetwarzania informacji  (puola) / Kääntäjä I. D. Rudinsky. - M. : Talous ja tilastot, 2004. - 344 s. — ISBN 5-279-02567-4 .
  • Saveljev A. V.  Matkalla hermoverkkojen yleiseen teoriaan. Monimutkaisuuskysymyksestä  // Neurotietokoneet: kehitys, sovellus. - 2006. - Nro 4-5 . - s. 4-14 . Arkistoitu alkuperäisestä 11. syyskuuta 2016.
  • Shigeru Omatu, Marzuki Khalid, Rubia Yusof. Neurocontrol ja sen sovellukset = Neuro-Control ja sen sovellukset. 2. painos — M .: IPRZhR, 2000. — 272 s. — ISBN 5-93108-006-6 .
  • Tadeusevich Ryszard, Borovik Barbara, Gonchazh Tomasz, Lepper Bartosz. Alkeinen johdatus hermoverkkojen teknologiaan ohjelmaesimerkein / Käännös I. D. Rudinsky. - M . : Hot line - Telecom, 2011. - 408 s. - ISBN 978-5-9912-0163-6 . .
  • Terekhov V. A., Efimov D. V., Tyukin I. Yu.  Neuroverkkojen ohjausjärjestelmät. - M . : Korkeakoulu , 2002. - 184 s. — ISBN 5-06-004094-1 .
  • Wasserman F.  Neurotietokonetekniikka: teoria ja käytäntö = Neural Computing. teoria ja käytäntö. - M .: Mir, 1992. - 240 s. — ISBN 5-03-002115-9 . Arkistoitu 30. kesäkuuta 2009 Wayback Machinessa
  • Khaykin S.  Neuroverkot: täydellinen kurssi = Neural Networks: A Comprehensive Foundation. 2. painos - M .: Williams, 2006. - 1104 s. — ISBN 0-13-273350-1 .
  • Yasnitsky L. N.  Johdatus tekoälyyn. - M . : Kustantaja. Keskus "Akatemia", 2005. - 176 s. — ISBN 5-7695-1958-4 .
  • Jan LeCun . Kuinka kone oppii. Vallankumous neuroverkoissa ja syvässä oppimisessa. (Sber Library: Artificial Intelligence). - M . : Alpina tietokirjallisuus, 2021. - ISBN 978-5-907394-29-2 .

Linkit

  Siirry Wikidata-kohteeseen  Sanakirjat ja tietosanakirjat
Bibliografisissa luetteloissa
 Keinotekoisten neuroverkkojen tyypit
 Tietotekniikka
Yleiset käsitteet
Jäykät mallit
Pehmeät menetelmät
Sovellukset