Verbalisointi on minimoitu kuvaus syntetisoidun ja jo koulutetun hermoverkon toiminnasta useiden toisistaan riippuvaisten algebrallisten tai loogisten funktioiden muodossa.
Yksi koulutettujen hermoverkkojen suurimmista haitoista monien käyttäjien näkökulmasta on, että on vaikea poimia selkeää ja käyttäjäystävällistä algoritmia ongelman ratkaisemiseksi koulutetusta hermoverkosta - hermoverkko itsessään on tämä algoritmi. , ja jos verkon rakenne on monimutkainen, tämä algoritmi on käsittämätön. Erityisesti rakennettu yksinkertaistamis- ja sanamuotomenettely mahdollistaa kuitenkin usein eksplisiittisen ratkaisumenetelmän poimimisen.
Verbalisointi suoritetaan erityisesti koulutetun ja yksinkertaistetun hermoverkon valmistelemiseksi toteutettavaksi ohjelmakoodissa tai erikoistuneen elektronisen (optoelektronisen) laitteen muodossa sekä tulosten käyttämiseksi eksplisiittisen tiedon muodossa . [1] Tässä tapauksessa oireet ovat hermoverkon tuloarvoja ja oireyhtymät ovat arvoja hermosolujen ulostuloissa . Loppusyndrooma on hermoverkon lähtöarvo. Verbalisointi suoritetaan yleensä erikoispakettien avulla.
Ennen verkon verbalointia, yleensä tuotantosääntöjen avulla, tietyntyyppisille verkoille ehdotettiin verkkojen rakenteen yksinkertaistamista - ohentamista. Karsimisen pääideana on, että ne mallin elementit tai verkon neuronit, joilla on vain vähän vaikutusta approksimaatiovirheeseen , voidaan jättää mallista pois ilman, että approksimoinnin laatu heikkenee merkittävästi [2] . Mutta samalla on pidettävä mielessä, että tämä koskee vain ratkaistavaa ongelmaa. Jos koulutukseen tulee uusia tilastoja, niin harva verkko menettää yleistyskyvyn, joka sillä olisi ollut, jos yhteyksiä ei olisi kadonnut (ainakaan päinvastaista ei ole todistettu). Puhumme siis häviöllisistä algoritmeista, joita voidaan käyttää tiettyihin ongelmiin, mutta joita ei voida käyttää ongelmasta riippumatta. Kasvava erikoistuminen, he menettävät joustavuutta.
Toisen kertaluvun menetelmää (käyttämällä herkkyysanalyysiä, joka perustuu toisen johdannaisen laskemiseen) ehdotti LeCun vuonna 1990 [3] , ja sitä kutsuttiin "optimaaliseksi aivovaurioksi". Sitten sen kehitti Hussibey [4] ja se sai nimen "optimaalinen aivoleikkaus".
Hieman aikaisemmin ehdotettiin menetelmiä hermoverkkojen ohentamiseen [5] ja luurankoimiseen [6] , jotka perustuivat yksinkertaisesti pienimmän painoisten elementtien poistamiseen ( nolla-asteen menetelmät ).
Lopuksi, samassa 1990, A. N. Gorban ehdotti tehokasta menetelmää, joka perustuu ensimmäisten derivaattojen analysointiin gradienttimenetelmillä oppimisen aikana ja joka ei vaadi erillistä erottelua. [7] Elementtien poistotehtävän lisäksi ratkaistiin myös muita yksinkertaistamisongelmia: painojen ja signaalien sanapituuden lyhentäminen (karkeus), hermosolujen aktivaatiotoimintojen yksinkertaistaminen, tulkittavissa olevan tiedon hankkiminen jne. Koko lähestymistavasarja oli kutsutaan myös " vastakohtaisiksi neuroverkoiksi ". Herkkyysindikaattoreiden kuvaus on esitetty katsauksessa. [kahdeksan]
E. M. Mirkes hankkeessa "Ideal neurocomputer ", joka perustui Gorbanin lähestymistapaan ja sovellettujen ohjelmistojen kehittämisen kokemukseen, otti käyttöön "Contrast"-elementin, rakensi kirjaston sen päätoiminnoista ja kehitti kuvauskielen. [9]
Neuroverkon valmistelemiseksi yksinkertaistamista varten on hyödyllistä sisällyttää sen työn arviointiin, joka on minimoitu koulutuksen aikana, rangaistusehdot (englanniksi rangaistus), rankaisemalla monimutkaisuudesta. Nämä algoritmit esitellään A. N. Gorbanin kirjassa [7] . Ishikawa ja Zurada löysivät tämän lähestymistavan myöhemmin uudelleen ja loivat perustan rakenteellisen oppimisen teorialle. [10] [11]
Desimointialgoritmia Rosenblattin perceptronille ei tarvita. Tämä johtuu siitä, että toisin kuin Rumelhartin monikerroksinen perceptron , perceptron ei ole täysin yhdistetty verkko, eli kokeen suorittaja voi suoraan ohjata yhteyksien määrää keskielementistä tuloon riippuen tehtävän monimutkaisuudesta. . Siksi lisäliitäntöjen harjoittelua ei tarvita, ja voit valita heti tehtävään tarvittavan yhteyksien määrän. Tällainen valinta tehdään kokeellisesti, jos konvergenssi saavutettiin koulutuksen aikana, sitä voidaan edelleen vähentää. Heti kun konvergenssi alkoi vaatia huomattavasti enemmän iteraatioita, tämä on merkki siitä, että haluttu yhteyksien määrä on saavutettu.
Toinen ohjattu parametri, jolla on merkittävämpi vaikutus yhteyksien määrään, on keskielementtien lukumäärä. Mitä enemmän perceptronia voidaan harjoitella pienemmällä määrällä keskielementtejä, sitä optimaalisempi rakenne saadaan.
Siksi näitä kahta parametria ohjaamalla saadaan ohennus automaattisesti ilman lisäalgoritmeja.