Konvoluutiohermoverkko

Konvoluutiohermoverkko ( CNN ) on Jan LeCunin vuonna  1988 [1] ehdottama erityinen keinotekoisten hermoverkkojen arkkitehtuuri, jonka tavoitteena on tehokas kuviontunnistus [2] . Se on osa syväoppimisteknologiaa ( deep learning ). Käyttää joitain visuaalisen aivokuoren ominaisuuksia [3] , joissa on löydetty ns. yksinkertaisia ​​soluja, jotka reagoivat eri kulmissa oleviin suoriin linjoihin, ja kompleksisia soluja, joiden reaktio liittyy tietyn yksinkertaisten solujen joukon aktivoitumiseen . Näin ollen konvoluutiohermoverkkojen ideana on lomittaa konvoluutiokerrokset ( eng. convolution layers ) ja alinäytteenottokerrokset ( eng. subsampling layers tai eng. pooling layers , subsample layers). Verkon rakenne on yksisuuntainen (ilman palautetta), pohjimmiltaan monikerroksinen. Koulutuksessa käytetään vakiomenetelmiä, useimmiten backpropagation menetelmää . Neuronien aktivointitoiminto (siirtofunktio) on mikä tahansa, tutkijan valinnan mukaan.     

Verkkoarkkitehtuurin nimi johtui konvoluutiooperaation olemassaolosta , jonka ydin on, että jokainen kuvafragmentti kerrotaan konvoluutiomatriisilla (ytimen) elementti kerrallaan ja tulos summataan ja kirjoitetaan samanlaiseen kohtaan ulostulokuva.

Tulkinta

Konvoluutiohermoverkon toiminta tulkitaan yleensä siirtymiseksi kuvan erityispiirteistä abstraktimpiin yksityiskohtiin ja edelleen abstraktimpiin yksityiskohtiin korkean tason käsitteiden poimimiseen asti. Samalla verkko säätää ja kehittää itse tarvittavan abstraktien piirteiden hierarkian (ominaisuuskarttojen sekvenssit) suodattaen merkityksettömiä yksityiskohtia ja korostaen olennaisen.

Tällainen tulkinta on melko metaforinen tai havainnollistava. Itse asiassa monimutkaisen verkon tuottamat "ominaisuudet" ovat niin hämäriä ja vaikeasti tulkittavia, että käytännössä ne eivät edes yritä ymmärtää näiden ominaisuuksien olemusta, vielä vähemmän "oikeita", vaan parantavat tunnistustuloksia. ne muuttavat verkon rakennetta ja arkkitehtuuria. Siten joidenkin merkittävien ilmiöiden huomioimatta jättäminen järjestelmän toimesta voi viitata siihen, että dataa ei ole tarpeeksi koulutusta varten tai verkkorakenteessa on puutteita, eikä järjestelmä pysty kehittämään tehokkaita ominaisuuksia näihin ilmiöihin.

Arkkitehtuuri ja toimintaperiaate

Tavallisessa perceptronissa , joka on täysin yhdistetty hermoverkko, jokainen neuroni on yhteydessä kaikkiin edellisen kerroksen hermosoluihin, ja jokaisella yhteydellä on oma henkilökohtainen painokerroinnsa. Konvoluutiohermoverkossa konvoluutiooperaatio käyttää vain pienikokoista rajoitettua painomatriisia, joka "siirretään" koko prosessoidun kerroksen yli (alkuvaiheessa suoraan sisääntulokuvan yli) muodostaen jokaisen siirron jälkeen aktivointisignaalin. seuraavan kerroksen neuronille, jolla on samanlainen sijainti. Eli samaa painomatriisia käytetään lähtökerroksen eri neuroneille, jota kutsutaan myös konvoluutioytimeksi . Se tulkitaan jonkin ominaisuuden graafiseksi koodaukseksi, esimerkiksi vinon viivan esiintyminen tietyssä kulmassa. Sitten seuraava kerros, joka syntyy konvoluutiooperaatiosta tällaisella painomatriisilla, näyttää tämän piirteen läsnäolon käsitellyssä kerroksessa ja sen koordinaatit muodostaen ns. piirrekartan .  Luonnollisesti konvoluutiohermoverkossa ei ole yhtä painosarjaa, vaan koko skaala, joka koodaa kuvaelementtejä (esim. viivoja ja kaaria eri kulmissa). Samanaikaisesti tutkija ei määritä tällaisia ​​konvoluutioytimiä etukäteen, vaan ne muodostetaan itsenäisesti kouluttamalla verkkoa klassisen virheen takaisinpropagoinnin menetelmällä . Kunkin painotusjoukon välittäminen luo oman piirrekartan ilmentymän, mikä tekee hermoverkosta monikanavaisen (useita itsenäisiä piirrekarttoja yhdellä kerroksella). On myös huomattava, että kun iteroidaan kerroksen yli painomatriisilla, sitä ei yleensä siirretä koko askeleen (tämän matriisin koko), vaan pienen matkan verran. Joten esimerkiksi kun painomatriisin mitta on 5 × 5, sitä siirretään yhdellä tai kahdella neuronilla (pikselillä) viiden sijasta, jotta ei "astuisi" halutun ominaisuuden yli.

Alinäytteistys ( eng.  subsampling , eng.  pooling , käännettynä myös "alinäytteenottotoiminnoksi" tai poolausoperaatioksi) pienentää luotujen piirrekarttojen ulottuvuutta. Tässä verkkoarkkitehtuurissa katsotaan, että tieto halutun ominaisuuden olemassaolosta on tärkeämpää kuin sen koordinaattien tarkka tieto, joten useista piirrekartan viereisistä neuroneista valitaan maksimi ja otetaan yksi hermosolu pienemmän ulottuvuuden tiivistetystä piirrekartasta. Tämän toiminnon ansiosta, lisälaskentojen nopeuttamisen lisäksi, verkko muuttuu muuttumattomammaksi tulokuvan mittakaavaan nähden.

Tarkastellaan tarkemmin konvoluutiohermoverkon tyypillistä rakennetta. Verkko koostuu suuresta määrästä kerroksia. Alkukerroksen (tulokuvan) jälkeen signaali kulkee sarjan konvoluutiokerrosten läpi, joissa konvoluutio itse ja alinäytteenotto (pooling) vuorottelevat. Vuorottelevat tasot mahdollistavat "ominaisuuskarttojen" tekemisen karttakohdekartoista, jokaisessa seuraavassa kerroksessa kartan koko pienenee, mutta kanavien määrä kasvaa. Käytännössä tämä tarkoittaa kykyä tunnistaa monimutkaiset ominaisuushierarkiat. Useiden kerrosten läpi kulkemisen jälkeen piirrekartta yleensä muuttuu vektoriksi tai jopa skalaariksi, mutta tällaisia ​​piirrekarttoja on satoja. Verkon konvoluutiokerrosten lähtöön asennetaan lisäksi useita kerroksia täysin kytkettyä hermoverkkoa (perceptronia), joiden sisäänmenoon syötetään päätepiirrekartat.

Convolution Layer

Konvoluutiokerros on konvoluutiohermoverkon päälohko .  Konvoluutiokerros sisältää kullekin kanavalle oman suodattimen, jonka konvoluutioydin käsittelee edellisen kerroksen fragmentti kerrallaan (summaamalla kunkin fragmentin elementtikohtaisen tuotteen tulokset). Konvoluutioytimen (pienen matriisin) painot ovat tuntemattomia ja ne asetetaan harjoituksen aikana.

Konvoluutiokerroksen ominaisuus on suhteellisen pieni määrä parametreja, jotka asetetaan harjoituksen aikana. Joten esimerkiksi jos alkuperäisen kuvan mitat ovat 100x100 pikseliä kolmessa kanavassa (mikä tarkoittaa 30 000 syötehermosolua) ja konvoluutiokerros käyttää suodattimia, joissa on 3x3 pikselin ydin, jonka lähtö on 6 kanavaa, vain 9 ytimen painoa määritetään. oppimisprosessissa kuitenkin kaikille kanavayhdistelmille, eli 9×3×6=162, tässä tapauksessa tämä kerros vaatii vain 162 parametrin löytämisen, mikä on huomattavasti vähemmän kuin täysin kytketyn kanavan vaadittujen parametrien määrä. hermoverkko.

Aktivointikerros

Jokaisen konvoluution skalaaritulos osuu aktivointifunktioon , joka on eräänlainen epälineaarinen funktio. Aktivointikerros yhdistetään yleensä loogisesti konvoluutiokerrokseen (aktivointifunktion katsotaan olevan sisäänrakennettu konvoluutiokerrokseen). Epälineaarisuusfunktio voi olla mikä tahansa tutkijan valinnan mukaan, tähän on perinteisesti käytetty funktioita kuten hyperbolinen tangentti ( , ) tai sigmoidi ( ). Kuitenkin 2000-luvulla ehdotettiin [4] ja tutkittiin [5] uutta aktivointitoimintoa - ReLU (lyhenne sanoista rectified linear unit ), joka mahdollisti merkittävästi nopeuttamaan oppimisprosessia ja samalla yksinkertaistamaan laskelmia (johtuen itse funktion yksinkertaisuus) [6] , mikä tarkoittaa lineaarisen tasasuuntauksen lohkoa, joka laskee funktion . Eli pohjimmiltaan tämä on toimenpide, jolla leikataan pois skalaariarvon negatiivinen osa. Vuodesta 2017 lähtien tämä toiminto ja sen muunnelmat (Noisy ReLU, Leaky ReLU ja muut) ovat yleisimmin käytettyjä aktivointitoimintoja syvissa hermoverkoissa, erityisesti konvoluutioverkoissa. On olemassa menetelmä lineaaristen tasasuuntauslohkojen optimaalisen lukumäärän määrittämiseksi [7] .  

Poolaus- tai alinäytteenottokerros

Poolauskerros (muuten alinäytteenotto, osanäyte) on piirrekartan epälineaarinen tiivistys, kun taas ryhmä pikseleitä (yleensä kooltaan 2 × 2) on tiivistetty yhdeksi pikseliksi, jossa suoritetaan epälineaarinen muunnos. Tässä tapauksessa käytetään yleisimmin maksimitoimintoa. Muunnokset vaikuttavat päällekkäin oleviin suorakulmioihin tai neliöihin, joista jokainen pakataan yhdeksi pikseliksi ja valitaan pikseli, jonka arvo on suurin. Poolitustoiminto voi vähentää merkittävästi kuvan tilavuutta. Poolaus tulkitaan seuraavasti: jos jotkin piirteet tunnistettiin jo edellisen konvoluutiooperaation aikana, niin yksityiskohtaista kuvaa ei enää tarvita jatkokäsittelyyn, vaan se tiivistetään vähemmän yksityiskohtaiseksi. Lisäksi tarpeettomien yksityiskohtien suodattaminen pois auttaa olemaan kouluttautumatta uudelleen . Poolauskerros asetetaan yleensä konvoluutiokerroksen jälkeen ennen seuraavaa konvoluutiokerrosta.

Maksimifunktiolla yhdistämisen lisäksi voidaan käyttää muita toimintoja - esimerkiksi keskiarvoa tai L2-normalisointia . Käytäntö on kuitenkin osoittanut tyypillisiin järjestelmiin sisältyvän maksimitoiminnon yhdistämisen edut.

Jotta tuloksena olevien esitysten kokoa voitaisiin pienentää aggressiivisemmin, ajatukset pienempien suodattimien [8] käytöstä tai poolauskerrosten täydellisestä eliminoimisesta ovat yhä suositumpia . [9]

Täysin yhdistetty hermoverkko

Usean kuvan konvoluution ja yhdistämisen jälkeen järjestelmä rakennetaan uudelleen tietystä korkearesoluutioisesta pikseliruudukosta abstraktimpiin piirrekarttoihin, yleensä jokaisessa seuraavassa kerroksessa kanavien määrä kasvaa ja kuvan ulottuvuus kussakin kanavassa pienenee. . Loppujen lopuksi jäljelle jää suuri joukko kanavia, jotka tallentavat pienen määrän dataa (jopa yksittäinen parametri), jotka tulkitaan alkuperäisestä kuvasta paljastuneimmiksi käsitteiksi.

Nämä tiedot yhdistetään ja lähetetään tavanomaiseen täysin yhdistettyyn neuroverkkoon, joka voi myös koostua useista kerroksista. Samanaikaisesti täysin yhdistetyt kerrokset menettävät jo pikselien spatiaalisen rakenteen ja ovat suhteellisen pieniä (suhteessa alkuperäisen kuvan pikselien määrään).

Koulutus

Yksinkertaisin ja suosituin tapa oppia on oppimismenetelmä opettajan kanssa (merkityillä tiedoilla) - menetelmä, jolla virhe ja sen modifikaatiot levitetään takaisin . Mutta konvoluutioverkostossa on myös useita valvomattomia oppimistekniikoita. Esimerkiksi konvoluutiotoimintosuodattimia voidaan opettaa erikseen ja itsenäisesti syöttämällä niille satunnaisesti leikattuja kappaleita harjoitusnäytteen alkuperäisistä kuvista ja soveltamalla niihin mitä tahansa tunnettua valvomatonta oppimisalgoritmia (esim. auto -assosiaattoria tai jopa k-means- menetelmää ) - tämä tekniikka tunnetaan nimellä patch-based training . Vastaavasti verkkokonvoluution seuraava kerros opetetaan osille jo koulutetusta verkon ensimmäisestä kerroksesta. On myös mahdollista yhdistää konvoluutiohermoverkko muihin syväoppimistekniikoihin . Esimerkiksi tehdäkseen konvoluutioauto-assosiaattorin [10] , konvoluutioversion kaskadirajoitetuista Boltzmann-koneista , jotka oppivat käyttämällä todennäköisyyspohjaista matemaattista laitetta [11] , konvoluutioversiota harvasta koodauksesta ( eng.  sparse coding ), jota kutsutaan dekonvoluutioverkkoiksi ( "käyttöön ottavat" verkot) [12 ] .

Verkon suorituskyvyn parantamiseksi, sen vakauden lisäämiseksi ja ylisovituksen estämiseksi käytetään myös poikkeusta (dropout) - aliverkon koulutusmenetelmää, jossa poistetaan satunnaisia ​​yksittäisiä hermosoluja.

Edut

Haitat

Muistiinpanot

  1. ↑ Y. LeCun, B. Boser, JS Denker, D. Henderson, RE Howard, W. Hubbard ja LD Jackel: Backpropagation Applied to Handwritten Zip Code Recognition, Neural Computation, 1(4):541-551, Winter 1989.
  2. ↑ Konvoluutiohermoverkot (LeNet) - DeepLearning 0.1 -dokumentaatio . Syväoppiminen 0.1 . LISA Lab. Haettu 31. elokuuta 2013. Arkistoitu alkuperäisestä 28. joulukuuta 2017.
  3. ↑ Matusugu, Masakazu; Katsuhiko Mori; Yusuke Mitari; Yuji Kaneda. Aiheesta riippumaton kasvojen ilmeentunnistus vahvalla kasvojentunnistuksella konvoluutiohermoverkkoa käyttämällä  //  Neural Networks : Journal. - 2003. - Voi. 16 , ei. 5 . - s. 555-559 . - doi : 10.1016/S0893-6080(03)00115-1 . Arkistoitu alkuperäisestä 13. joulukuuta 2013.
  4. ↑ R Hahnloser, R. Sarpeshkar, M. A. Mahowald, R. J. Douglas, H. S. Seung (2000). Digitaalinen valinta ja analoginen vahvistus toimivat rinnakkain aivokuoren inspiroimassa piipiirissä . luonto . 405 . s. 947-951.
  5. ↑ Xavier Glorot, Antoine Bordes ja Yoshua Bengio (2011). Deep harvat tasasuuntaajan hermoverkot (PDF) . AISTATS. Arkistoitu (PDF) alkuperäisestä 13.12.2016 . Haettu 29.12.2017 . Käytöstä poistettu parametri |deadlink=( ohje )
  6. ↑ Vinod Nair ja Geoffrey Hinton (2010). Rektifioidut lineaariset yksiköt parantavat rajoitettuja Boltzmann-koneita (PDF) . ICML . Arkistoitu alkuperäisestä (PDF) 24-03-2014 . Haettu 22.12.2016 . Käytöstä poistettu parametri |deadlink=( ohje ) Arkistoitu 24. maaliskuuta 2014 Wayback Machinessa
  7. ↑ Romanuke, Vadim. ReLU:iden sopiva määrä ja allokaatio konvoluutiohermoverkoissa  (englanniksi)  // Research Bulletin of NTUU “Kyiv Polytechnic Institute” : aikakauslehti. - 2017. - Vol. 1 . - s. 69-78 . - doi : 10.20535/1810-0546.2017.1.88156 . Arkistoitu alkuperäisestä 18. helmikuuta 2019.
  8. ↑ Graham, Benjamin (18.12.2014), Fractional Max-Pooling, arΧiv : 1412.6071 [cs.CV]. 
  9. ↑ Springenberg, Jost Tobias; Dosovitski, Aleksei; Brox, Thomas & Riedmiller, Martin (21.12.2014), Striving for Simplicity: The All Convolutional Net, arΧiv : 1412.6806 [cs.LG]. 
  10. ↑ Jain, V. ja Seung, SH (2008). Luonnollinen kuvan vaimentaminen konvoluutioverkostoilla. Vuonna NIPS'2008.
  11. ↑ Lee, H., Grosse, R., Ranganath, R. ja Ng, A.Y. (2009a). Konvoluutioteorian syvä uskomusverkosto hierarkkisten esitysten skaalautuvaa ja valvomatonta oppimista varten. Vuonna ICML'2009.
  12. ↑ Zeiler, M., Krishnan, D., Taylor, G. ja Fergus, R. (2010). dekonvoluutioverkostot. Vuonna CVPR'2010.

Linkit

 Keinotekoisten neuroverkkojen tyypit