Syväoppiminen

Kokeneet kirjoittajat eivät ole vielä tarkistaneet sivun nykyistä versiota, ja se voi poiketa merkittävästi 5.6.2022 tarkistetusta versiosta . tarkastukset vaativat 7 muokkausta .

Syväoppiminen ( syväoppiminen ; eng.  Deep learning ) - joukko koneoppimismenetelmiä ( opettajan kanssa , opettajan osittaisella osallistumisella , ilman opettajaa , vahvistuksella ) , joka perustuu oppimisrepresentaatioihin ( eng.  feature / representation learning ), eivätkä erikoistuneet algoritmit tiettyihin tehtäviin. 1980-luvulla (ja jopa aikaisemmin [1] ) tunnettiin monia syvän oppimisen menetelmiä , mutta tulokset eivät olleet vaikuttavia [2] ennen kuin keinotekoisten hermoverkkojen teoriassa edistyttiin (hermoverkkojen esikoulutus käyttämällä erityistapausta suuntaamaton graafinen malli, ns. rajoitettu kone Boltzmann ) ja 2000-luvun puolivälin laskentateho (mukaan lukien grafiikkakiihdyttimiä , käyttäjän ohjelmoitavat porttitaulukot ja erilaiset hermoprosessorit ) eivät mahdollistaneet monimutkaisten teknologioiden luomista. hermoverkkojen arkkitehtuurit, jotka ovat riittävän suorituskykyisiä ja mahdollistavat monien sellaisten ongelmien ratkaisemisen, joita ei aikaisemmin voitu tehokkaasti ratkaista, esimerkiksi tietokonenäössä , konekäännöksessä , puheentunnistuksessa ja ratkaisun laatu on nyt monissa tapauksissa vertailukelpoinen, ja joissakin tapauksissa ylittää ihmisen tehokkuuden [3] .

Historia

Huolimatta siitä, että termi " syväoppiminen " ilmestyi koneoppimisen tiedeyhteisöön vasta vuonna 1986 Rina Dekhterin [4] työn jälkeen , ensimmäinen yleinen työalgoritmi syväsyöttöisille monikerroksisille perceptroneille julkaistiin Neuvostoliiton kirjassa. tutkijat Aleksei Grigorievich Ivakhnenko ja Valentin Grigorievich Lapa "Kyberneettiset ennustavat laitteet", jo vuonna 1965 [5]

Muut syvät arkkitehtuurit, erityisesti hahmontunnistukseen erikoistuneet , ovat peräisin Kunihiko Fukushiman kehittämästä neokognitronista .vuonna 1980. Vuonna 1989 Jan LeCun onnistui käyttämään backpropagation- algoritmia opettamaan syviä hermoverkkoja ratkaisemaan käsinkirjoitettujen postinumeroiden tunnistamisongelman [6] . Onnistuneesta kokemuksesta huolimatta mallin kouluttaminen kesti kolme päivää, mikä rajoitti merkittävästi menetelmän soveltuvuutta. Alhainen oppimisnopeus liittyy moniin tekijöihin, mukaan lukien ongelmaan katoavat gradientit, jotka johtuvat koulutettavien parametrien arvojen suuresta hajautumisesta, jonka vuonna 1991 analysoivat Jörgen Schmidhuber ja Sepp Hochreiter. Näiden ongelmien vuoksi hermoverkot väistyivät vektorikoneiden tukemiselle 1990-luvulla .

Vuoteen 1991 mennessä tällaisia ​​järjestelmiä käytettiin tunnistamaan eristettyjä 2D-käsin kirjoitettuja numeroita, ja 3D-objektien tunnistus suoritettiin sovittamalla 2D-kuvia käsin valmistettuun 3D-objektimalliin. Vuonna 1992 luotiin kresseptronin malli [7] [8] [9] kolmiulotteisten kohteiden tunnistamiseksi sekavissa kohtauksissa.

Vuonna 1994 André de Carvalho julkaisi yhdessä Mike Fairhurstin ja David Bissetin kanssa kokeelliset tulokset monikerroksisesta Boolen hermoverkosta, joka tunnetaan myös painottomana hermoverkona ja joka koostuu kolmikerroksisesta itseorganisoituvasta hermoverkkomoduulista piirteiden poimimista varten ( SOFT) ja sitten kerrostettu neuroverkkomoduuliluokitus (GSN). Jokainen moduuli kävi itsenäisen koulutuksen. Jokainen moduulin kerros haki objekteja entistä monimutkaisemmin edelliseen tasoon verrattuna. [kymmenen]

Vuonna 1995 Brendan Frey osoitti, että oli mahdollista kouluttaa (kahdessa päivässä) kuusi täysin yhdistettyä kerrosta ja useita satoja piilotettuja yksiköitä sisältävä verkko käyttämällä Peter Dayanin ja Hintonin kanssa kehitettyä uni-herätysalgoritmia [11] . Monet tekijät vaikuttavat hitaan nopeuteen, mukaan lukien katoava gradienttiongelma, jonka Sepp Hochreiter analysoi vuonna 1991 [12] [13] .

Yksinkertaisemmat mallit, jotka käyttävät tehtäväkohtaista manuaalista työtä, kuten Gabor-suodattimet ja tukivektorikoneet (SVM:t), olivat suosittuja valintoja 1990- ja 2000-luvuilla keinotekoisten hermoverkkojen (ANN) laskennallisten kustannusten vuoksi. ymmärtämään, kuinka aivot yhdistävät biologiset verkostonsa.

Sekä pinta- että syväoppimista (esim. toistuvia verkkoja) ANN:ita on tutkittu useiden vuosien ajan [14] [15] [16] . Nämä menetelmät eivät ole koskaan voittaneet heterogeenisia sekoitettuja Gaussin ja piilotettuja Markov -malleja, jotka perustuvat erottelevasti koulutettuihin generatiivisiin puhemalleihin [17] . Keskeisiä vaikeuksia analysoitiin, mukaan lukien gradienttivähennys [12] ja heikko ajallinen korrelaatiorakenne hermosolujen ennustavissa malleissa [18] [19] . Muita ongelmia olivat harjoitustietojen puute ja rajallinen laskentateho.

Syväoppiminen saavutti suosiota 2000-luvun puolivälissä, kun kaikki sulautui yhteen: tietokoneista tuli tarpeeksi tehokkaita suurien hermoverkkojen kouluttamiseen (ne oppivat delegoimaan laskelmia GPU :ille , mikä nopeuttai oppimisprosessia suuruusluokkaa), tietojoukoista tuli tarpeeksi suuria suurten verkkojen kouluttaminen oli järkevää, ja toinen edistysaskel tapahtui keinotekoisten hermoverkkojen teoriassa - Hintonin , Osindereron ja Taen [20] artikkelit sekä Bengio [21] , joissa kirjoittajat osoittivat, että on mahdollista tehokkaasti esikouluttaa monikerroksinen hermoverkko, jos jokainen kerros opetetaan erikseen käyttämään rajoitettua Boltzmann-konetta , ja sitten uudelleenkoulutus käyttäen backpropagation menetelmää .

The Deep Learning Revolution

Vuonna 2012 George E. Dahlin johtama tiimi voitti Merck Molecular Activity Challengen käyttämällä moniajosyviä hermoverkkoja ennustaakseen yksittäisen lääkkeen biomolekyylisen kohteen [22] . Vuonna 2014 Hochreiterin ryhmä käytti syväoppimista tunnistaakseen ympäristökemikaalien kohde- ja myrkyllisiä vaikutuksia ravintoaineissa, kotitaloustuotteissa ja lääkkeissä, ja voitti "Tox21 Data Challenge" -kilpailun Yhdysvaltain kansallisilta terveysinstituuteilta , Yhdysvaltain elintarvike- ja lääkevirastolta . elintarvikkeiden ja lääkkeiden laatu ja NCATS [23] .

Merkittävä kehitys kuvien tai esineiden tunnistamisessa tapahtui vuosina 2011–2012. Vaikka taaksepäin levitetyt konvoluutiohermoverkot (CNN) ovat olleet olemassa vuosikymmeniä, ja GPU:t ovat toteuttaneet hermoverkkoja useiden vuosien ajan, mukaan lukien CNN:t, CNN-verkkojen nopeita toteutuksia GPU:ssa on käytetty tietokonenäön edistämiseen. Vuonna 2011 tämä lähestymistapa saavutti yli-inhimillisen suorituskyvyn ensimmäistä kertaa visuaalisessa kuviontunnistuskilpailussa. Myös vuonna 2011 hän voitti ICDAR-käsinkirjoituskilpailun ja toukokuussa 2012 ISBI-kuvasegmentointikilpailun [24] . Vuoteen 2011 asti CNN:illä ei ollut merkittävää roolia tietokonenäkökonferensseissa, mutta kesäkuussa 2012 Ciresanin [25] esitys lippulaiva CVPR-konferenssissa osoitti, kuinka CNN-verkkojen maksimaalinen integrointi GPU:hun voi parantaa merkittävästi monia vertailutuloksia. Lokakuussa 2012 samanlaisen järjestelmän kehitti Krizhevsky [26] , jonka tiimi voitti laajan ImageNet -kilpailun merkittävällä erolla pintakoneoppimismenetelmiin verrattuna. Marraskuussa 2012 Ciresan-tiimi voitti myös ICPR-kilpailun laajasta lääketieteellisestä kuva-analyysistä syövän havaitsemiseksi, ja seuraavana vuonna MICCAI Grand Challengen samasta aiheesta [27] . Vuosina 2013 ja 2014 syväoppimista käyttävän ImageNet-tehtävän virheprosentti pieneni entisestään johtuen samankaltaisesta laajamittaisen puheentunnistuksen trendistä. Steven Wolfram julkaisi nämä parannukset osana Image Identification Projectia [28] .

Kuvien luokittelu laajennettiin sitten monimutkaisempaan tehtävään luoda kuvaukset (tekstit) kuville, usein CNN:n ja LSTM:n yhdistelmänä [29] [30] [31] [32] .

Jotkut tutkijat uskovat, että ImageNetin voitto lokakuussa 2012 merkitsi alkua "syvän oppimisen vallankumoukselle", joka muutti tekoälyteollisuutta [33] .

Maaliskuussa 2019 Yoshua Bengio , Geoffrey Hinton ja Yann LeCun saivat Turing Award -palkinnon käsitteellisistä ja teknisistä läpimurroista, jotka ovat tehneet syvähermoverkoista laskennan kriittisen osan.

Hermoverkot

Keinotekoiset hermoverkot (ANN:t)  ovat laskennallisia järjestelmiä, jotka perustuvat eläinten aivot muodostavien biologisten hermoverkkojen periaatteisiin. Tällaiset järjestelmät oppivat (parantavat asteittain kykyjään) suorittamaan tehtäviä, yleensä ilman, että niitä on ohjelmoitu ratkaisemaan tiettyjä tehtäviä. Esimerkiksi kissojen kuvantunnistuksessa he voivat oppia tunnistamaan kissoja sisältäviä kuvia analysoimalla esimerkkejä kuvista, joihin on manuaalisesti merkitty "kissa" tai "ei kissa", ja käyttämällä analyysin tuloksia kissojen tunnistamiseen muista kuvista. ANN:t ovat löytäneet suurimman käyttönsä ohjelmistosovelluksissa, joita on vaikea ilmaista perinteisellä tietokonealgoritmilla sääntöpohjaista ohjelmointia käyttäen .

ANN:t perustuvat joukkoon yhdistettyjä yksiköitä, joita kutsutaan keinotekoisiksi neuroneiksi (samanlaiset kuin biologisten aivojen biologiset neuronit). Jokainen neuronien välinen yhteys (synapsi) voi lähettää signaalin toiselle neuronille. Vastaanottava (postsynaptinen) neuroni voi käsitellä signaalia (signaaleja) ja sitten signaloida siihen liitetyille neuroneille. Neuronilla voi olla tila, joka esitetään yleensä reaaliluvuilla, yleensä välillä 0 ja 1. Neuronilla ja synapseilla voi myös olla painoja, jotka muuttuvat oppimisen aikana, mikä voi lisätä tai vähentää sen lähettämän signaalin voimakkuutta.

Tyypillisesti neuronit on järjestetty kerroksiin. Eri kerrokset voivat suorittaa erilaisia ​​muunnoksia. Signaalit kulkevat ensimmäisestä (tulo) viimeiseen (lähtö) kerrokseen, mahdollisesti sen jälkeen, kun ne ovat kulkeneet kerrosten läpi useita kertoja.

Neuroverkkolähestymistavan alkuperäinen tavoite oli ratkaista ongelmia samalla tavalla kuin ihmisaivot. Ajan myötä huomio on keskittynyt tiettyjen älyllisten kykyjen valintaan, mikä on johtanut poikkeamiin biologiasta, kuten takaisin leviämiseen tai tiedon välittämiseen päinvastaiseen suuntaan ja verkoston perustamiseen tätä tietoa heijastamaan.

Neuraaliverkkoja käytetään monenlaisiin tehtäviin, kuten konenäköön, puheentunnistukseen, konekääntämiseen, sosiaalisen median suodatukseen, videopeleihin ja lääketieteelliseen diagnostiikkaan.

Vuodesta 2017 lähtien neuroverkoilla on tyypillisesti muutama tuhat - muutama miljoonaa yksikköä ja miljoonia yhteyksiä. Huolimatta siitä, että tämä luku on useita suuruusluokkia pienempi kuin ihmisen aivojen neuronien lukumäärä, nämä verkostot voivat suorittaa monia tehtäviä tasolla, joka ylittää ihmisen kyvyt (esimerkiksi kasvojen tunnistus, play go ) [34] .

Syvät neuroverkot

Syvä hermoverkko (DNN, DNN - Deep neural network) on keinotekoinen hermoverkko (ANN), jossa on useita kerroksia tulo- ja lähtökerroksen välissä [35] [36] . GNN löytää oikean matemaattisen muunnosmenetelmän syötteen muuttamiseksi ulostuloksi riippumatta siitä, onko korrelaatio lineaarinen vai epälineaarinen . Verkko liikkuu kerrosten läpi laskeen kunkin poistumisen todennäköisyyden. Esimerkiksi DNN, joka on koulutettu tunnistamaan koirarodut, kävelee tietyn kuvan läpi ja laskee todennäköisyyden, että kuvassa oleva koira kuuluu tiettyyn rotuun. Käyttäjä voi tarkastella tuloksia ja valita todennäköisyydet, jotka verkon tulee näyttää (esim. tietyn kynnyksen ylittäessä) ja palauttaa verkkoon ehdotetun nimiön. Jokainen matemaattinen muunnos katsotaan kerrokseksi, ja monimutkaisilla GNN:illä on useita kerroksia, mistä johtuu nimi "syvät" tai "syvät" verkot.

GNN:t voivat mallintaa monimutkaisia ​​epälineaarisia suhteita. GNN-arkkitehtuurit luovat kompositiomalleja, joissa objekti ilmaistaan ​​primitiivien monitasoisena koostumuksena [37] . Lisäkerrokset mahdollistavat elementtien muodostamisen alemmilla tasoilla, mikä mahdollisesti mallintaa monimutkaista dataa vähemmällä yksiköllä kuin hieno verkko, jolla on samanlaiset mittarit [35] .

Syväarkkitehtuuri sisältää monia muunnelmia useista peruslähestymistapoista. Jokainen arkkitehtuuri on saavuttanut menestystä tietyillä alueilla. Aina ei ole mahdollista verrata useiden arkkitehtuurien suorituskykyä, ellei niitä ole arvioitu samoilla tietojoukoilla.

GNN:t ovat tyypillisesti myötäkytkentäverkkoja, joissa dataa siirretään tulokerroksesta lähtökerrokselle ilman palautetta. Ensin GNN luo kartan virtuaalisista neuroneista ja määrittää niiden välisille yhteyksille satunnaisia ​​numeerisia arvoja tai "painoja". Painot ja syöttötiedot kerrotaan ja ne palauttavat lähtösignaalin 0:sta 1:een. Jos verkko ei tunnista tarkasti tiettyä kuviota, algoritmi säätää painotuksia, kunnes se määrittää kertoimet, jotka käsittelevät dataa oikein. [38]

Määritelmät

Koneoppimisalgoritmit

Syväoppiminen on luonnehdittu koneoppimisalgoritmien luokkaksi , joka [39] :

Kaikki määritelmät sanovat

  1. useiden epälineaarisen käsittelyn kerrosten läsnäolo
  2. ohjattu tai ohjaamaton oppiminen sisälsi jokaisen kerroksen muodostaen hierarkian matalalta korkealle tasolle [39] .

Tiettyjen epälineaaristen kerrosten koostumus riippuu ratkaistavasta ongelmasta. Käytetään sekä hermoverkon piilotettuja kerroksia että monimutkaisten loogisten muunnosten kerroksia [40] . Järjestelmä voi sisältää latentteja muuttujia, jotka on järjestetty kerroksiin syviin generatiivisiin malleihin, kuten solmuja syvässä luottamusverkossa ja syvästi rajoitettuun Boltzmannin koneeseen .

Syväoppimisalgoritmit vastustavat matalia oppimisalgoritmeja niiden parametrisoitujen muunnosten lukumäärän suhteen, joita signaali kohtaa, kun se etenee syöttökerroksesta lähtökerrokseen, jolloin parametroitua muunnosa pidetään tietojenkäsittely-yksikkönä, jolla on koulutettavia parametreja, kuten painoina tai kynnysarvoina [41] . Muutosketjua syötteestä tuotoksi kutsutaan CAP - siirtämällä vastuu ( englanniksi  credit assignment path, CAP ). CAP:t kuvaavat mahdollisia kausaalisia suhteita verkon varrella syötteestä lähtöön, ja eri haarojen polulla voi olla eripituisia. Forward-hermoverkossa CAP-syvyys ei eroa verkon syvyydestä ja on yhtä suuri kuin piilotettujen kerrosten lukumäärä plus yksi (lähtökerros on myös parametroitu). Toistuvissa hermoverkoissa , joissa signaali voi hypätä kerrosten läpi ohittaen välitasot, CAP on potentiaalisesti rajaton palautteen vuoksi. Ei ole olemassa yleisesti hyväksyttyä kynnystä syvän oppimisen matalan oppimisen jakautumissyvyydelle, mutta syvälle oppimiselle katsotaan yleensä ominaista useat epälineaariset kerrokset (CAP > 2). Jorgen Schmidhuber korostaa myös "erittäin syvää oppimista", kun CAP > 10 [41] .

Sisältö

Deep learning on koneoppimisalgoritmi korkean tason abstraktioiden mallintamiseen käyttämällä useita epälineaarisia muunnoksia [39] [40] [41] [42] [43] .

Ensinnäkin syväoppiminen sisältää seuraavat menetelmät ja niiden muunnelmat:

Näitä menetelmiä yhdistämällä syntyy monimutkaisia ​​järjestelmiä, jotka vastaavat erilaisia ​​tekoälytehtäviä .

Syväoppiminen on validoitu valikoima laajasta koneoppimismenetelmien valikoimasta, joka edustaa ongelman luonteeseen parhaiten sopivaa dataa. Esimerkiksi kuva voidaan esittää monin tavoin, kuten arvojen intensiteettivektorina pikseliä kohden tai (abstraktemmassa muodossa) primitiivien joukkona, tietyn muotoisina alueina jne. Onnistuneet dataesitykset helpottaa tiettyjen ongelmien ratkaisemista – esimerkiksi kasvojentunnistusta ja ilmeitä [44] ). Syväoppimisjärjestelmissä se automatisoi ominaisuuksien valinta- ja viritysprosessin suorittaen ominaisuusoppimisen [ ilman opettajaa tai opettajan osittaisella osallistumisella käyttämällä tähän tehokkaita algoritmeja ja hierarkkista ominaisuuspoimintaa [45] .

Tämän alueen tutkimus on parantanut malleja suurten määrittämättömien tietojen käsittelyyn. Joitakin lähestymistapoja on syntynyt neurotieteen alan edistymisestä, tiedonkäsittelyn tulkinnan edistymisestä, viestintämallien rakentamisesta hermostoon , kuten hermokoodauksesta , joka liittyy ärsykkeen ja hermovasteiden välisen suhteen määrittämiseen, sekä sähköisen toiminnan suhdetta hermostoon. neuronit aivoissa [46] .

Syväoppimisjärjestelmät ovat löytäneet sovelluksen muun muassa tietokonenäön , puheentunnistuksen , luonnollisen kielen käsittelyn , äänentunnistuksen, bioinformatiikan aloilla , joissa useissa tehtävissä on saatu huomattavasti parempia tuloksia kuin aiemmin.

Huolimatta syväoppimisen menestyksestä, sillä on edelleen perustavanlaatuinen rajoitus: syväoppimismallit ovat rajallisia sen suhteen, mitä ne voivat edustaa, eikä useimpia ohjelmia voida ilmaista useiden tietojen jatkuvana geometrisena muodonmuutoksena [47] .

Säilyttää kuitenkin skeptinen käsitys siitä, että syväoppiminen  ei ole muuta kuin muotisana tai hermoverkkojen tuotemerkki [48] [49] .

Katso myös

Muistiinpanot

  1. Itse asiassa ensimmäiset syväverkot ilmestyivät 1960-luvun puolivälissä: syväperceptronien muodossa olevat verkot kuvattiin Neuvostoliiton tutkijoiden A. G. Ivakhnenkon ja V. G. Lapan teoksissa - katso Historia-osio alla.
  2. Neuroverkkotutkija John Denker totesi vuonna 1994: "Neuroverkot ovat toiseksi paras tapa tehdä melkein mitä tahansa."
  3. Ciresan, Dan; Meier, U.; Schmidhuber, J. Multi-column deep neuro networks for image classification  //  2012 IEEE Conference on Computer Vision and Pattern Recognition : Journal. - 2012 - kesäkuuta. - P. 3642-3649 . - doi : 10.1109/cvpr.2012.6248110 .
  4. Rina Dechter (1986). Oppimista etsiessään rajoitus-tyytyväisyysongelmissa Arkistoitu 19. huhtikuuta 2016 Wayback Machineen . Kalifornian yliopisto, tietojenkäsittelytieteen laitos, kognitiivisten järjestelmien laboratorio.
  5. Ivakhnenko A. G. , Lapa V. G. Kyberneettiset ennustavat laitteet. - K . : "Naukova Dumka", 1965. - 216 s. - ISBN 978-5-458-61159-6 .
  6. Yann LeCun et ai. Backpropagation Applied Handwritten Zip Code Recognition (linkki ei ole käytettävissä) . Haettu 28. elokuuta 2014. Arkistoitu alkuperäisestä 29. toukokuuta 2015. 
  7. J. Weng, N. Ahuja ja TS Huang. Cresceptron: itseorganisoituva hermoverkko, joka kasvaa mukautuvasti  // Proc. International Joint Conference on Neural Networks, Baltimore, Maryland, vol I, pp. 576-581. - kesäkuuta 1992. Arkistoitu alkuperäisestä 21. syyskuuta 2017.
  8. J. Weng, N. Ahuja ja TS Huang,. 3D-objektien tunnistamisen ja segmentoinnin oppiminen 2D-kuvista  // Proc. 4th International Conf. Computer Vision, Berliini, Saksa, s. 121-128. - toukokuuta 1993. Arkistoitu alkuperäisestä 21. syyskuuta 2017.
  9. J. Weng, N. Ahuja ja TS Huang,. Oppimisen tunnistaminen ja segmentointi Cresceptronin avulla  // International Journal of Computer Vision, voi. 25, ei. 2, s. 105-139. Marraskuu. 1997. Arkistoitu alkuperäisestä 25. tammikuuta 2021.
  10. de Carvalho, Andre CLF; Fairhurst, Mike C.; Bisset, David (8.8.1994). Integroitu Boolen hermoverkko kuvioiden luokittelua varten  // Pattern Recognition Letters.. — s. 807–813 . - doi : 10.1016/0167-8655(94)90009-4. . Arkistoitu alkuperäisestä 25. elokuuta 2019.
  11. Hinton, Geoffrey E.; Dayan, Peter; Frey, Brendan J.; Neal, Radford. Herätys-uni-algoritmi valvomattomille hermoverkoille  // Tiede. 268 (5214): 1158–1161 .. - 26.5.1995. doi : 10.1126 / science.7761831. . Arkistoitu alkuperäisestä 25. elokuuta 2019.
  12. ↑ 1 2 S. Hochreiter. Untersuchungen zu dynamischen neuronalen Netzen  // Diplomityö. instituutti f. Informatik, Technische Univ. München. Neuvonantaja: J. Schmidhuber. - 1991. Arkistoitu 6. maaliskuuta 2015.
  13. Hochreiter, S.; et ai. Gradienttivirta toistuvissa verkoissa: pitkäaikaisten riippuvuuksien oppimisen vaikeus  // In Kolen, John F.; Kremer, Stefan C. (toim.). Kenttäopas dynaamisiin toistuviin verkkoihin. John Wiley & Sons. - 15. tammikuuta 2001. - ISBN 978-0-7803-5369-5 . . Arkistoitu alkuperäisestä 19. elokuuta 2020.
  14. Morgan, Nelson; Bourlard, Herve; Renals, Steve; Cohen, Michael; Franco, Horacio. Hybridihermoverkko/piilotetut Markov-mallijärjestelmät jatkuvaan puheentunnistukseen // International Journal of Pattern Recognition and Artificial Intelligence.. — 1993-08-01. - Nro 07 (4): 899–916 . — ISSN 0218-0014 . - doi : 10.1142/s0218001493000455 .
  15. Robinson, T. Reaaliaikainen toistuvien virheiden leviämisen verkon sanantunnistusjärjestelmä. — ICASSP. Icassp'92: 617–620 .. - 1992. - ISBN 9780780305328 ..
  16. Waibel, A.; Hanazawa, T.; Hinton, G.; Shikano, K.; Lang, KJ Foneemin tunnistus aikaviivehermoverkkojen avulla // IEEE Transactions on Acoustics, Speech, and Signal Processing. 37(3): 328–339. - Maaliskuu 1989. - ISSN 0096-3518 . - doi : 10.1109/29.21701. hdl:10338.dmlcz/135496 .
  17. Baker, J.; Deng, Li; Lasi, Jim; Khudanpur, S.; Lee, C.-H.; Morgan, N.; O'Shaughnessy, D. 2009. Tutkimuskehitys ja puheentunnistuksen ja -ymmärryksen suuntaviivat, osa 1 // IEEE Signal Processing Magazine.. - nro 26 (3): 75–80 . - doi : 10.1109/msp.2009.932166 .
  18. Bengio, Y. Keinotekoiset hermoverkot ja niiden soveltaminen puheen/sekvenssin tunnistamiseen  // McGill University Ph.D. thesis.. - 1991. Arkistoitu alkuperäisestä 9. toukokuuta 2021.
  19. Deng, L.; Hassanein, K.; Elmasry, M. Neuraalisen ennustavan mallin korrelaatiorakenteen analyysi puheentunnistuksen sovelluksilla // Neural Networks. 7(2). - 1994. - S. 331-339 . - doi : 10.1016/0893-6080(94)90027-2 .
  20. Nopea oppimisalgoritmi Deep Belief Netsille . Haettu 24. tammikuuta 2018. Arkistoitu alkuperäisestä 23. joulukuuta 2015.
  21. Bengio, Yoshua (2012), Käytännön suosituksia syvien arkkitehtuurien gradienttipohjaiseen koulutukseen, arΧiv : 1206.5533 . 
  22. Merck Molecular Activity Challengen voittajien julkistaminen . Haettu 27. marraskuuta 2019. Arkistoitu alkuperäisestä 21. kesäkuuta 2017.
  23. NCATS julkisti Tox21 Data Challenge -voittajat . Haettu 27. marraskuuta 2019. Arkistoitu alkuperäisestä 8. syyskuuta 2015.
  24. Ciresan, Dan; Giusti, Alessandro; Gambardella, Luca M.; Schmidhuber, Jürgen. Advances in Neural Information Processing Systems  // Curran Associates, Inc. - 2012. - P. 2843–2851. . Arkistoitu alkuperäisestä 9. elokuuta 2017.
  25. Ciresan, D.; Meier, U.; Schmidhuber, J. Multi-column deep neuro networks for image classification // IEEE Conference on Computer Vision and Pattern Recognition. - 2012. - S. 3642–3649 . — ISBN 978-1-4673-1228-8 . - doi : 10.1109/cvpr.2012.6248110 . - arXiv : 1202.2745. .
  26. Križevski, Aleksi; Sutskever, Ilja; Hinton, Geoffry. ImageNet Classification with Deep Convolutional Neural Networks  // NIPS 2012: Neural Information Processing Systems, Lake Tahoe, Nevada.. - 2012. Arkistoitu 10. tammikuuta 2017.
  27. Ciresan, D.; Giusti, A.; Gambardella, L.M.; Schmidhuber, J. Mitoosin havaitseminen rintasyövän histologiassa kuvissa käyttämällä syvää hermoverkkoa // Proceedings MICCAI. Tietojenkäsittelytieteen luentomuistiinpanot. 7908 (Pt 2): 411–418. – 2013. – ISBN 978-3-642-38708-1 . - doi : 10.1007/978-3-642-40763-5_51 . — PMID 24579167 .
  28. "The Wolfram Language Image Identification Project". www.imageidentify.com. Haettu 22.03.2017. . Haettu 29. marraskuuta 2019. Arkistoitu alkuperäisestä 22. heinäkuuta 2020.
  29. Vinyals, Oriol; Toshev, Aleksanteri; Bengio, Samy; Erhan, Dumitru. Näytä ja kerro: Neural Image Caption Generator // [cs.CV]. - 2014. - arXiv : 1411.4555 .
  30. Fang, Hao; Gupta, Saurabh; Iandola, Forrest; Srivastava, Rupesh; Deng, Li; Dollari, Piotr; Gao, Jianfeng; Hän, Xiaodong; Mitchell, Margaret; Platt, John C; Lawrence Zitnick, C; Zweig, Geoffrey. Tekstityksistä visuaalisiin käsitteisiin ja takaisin // [cs.CV]. - 2014. - arXiv : https://arxiv.org/abs/1411.4952 .
  31. Kiros, Ryan; Salakhutdinov, Ruslan; Zemel, Richard S. Visual-Semantic Embeddings with Multimodal Neural Language Models // [cs.LG]. - 2014. - arXiv : https://arxiv.org/abs/1411.2539 .
  32. Zhong, Sheng-hua; Liu, Yan; Liu, Yang. Bilineaarinen syvä oppiminen kuvien luokitteluun // 19. ACM:n kansainvälisen multimediakonferenssin julkaisuja. MM '11. New York, NY, USA: ACM. - 2011. - S. 343–352 . — ISBN 9781450306164 . - doi : 10.1145/2072298.2072344 .
  33. Miksi syväoppiminen muuttaa yhtäkkiä elämääsi . Fortune (2016. Haettu 13. huhtikuuta 2018.). Haettu 30. marraskuuta 2019. Arkistoitu alkuperäisestä 14. huhtikuuta 2018.
  34. Hopea, David; Huang, Aja; Maddison, Chris J.; Guez, Arthur; Sifre, Laurent; Driessche, George van den; Schrittwieser, Julian; Antonoglou, Ioannis; Panneershelvam, Veda. Go-pelin hallitseminen syvien hermoverkkojen ja puuhaun avulla // Luonto: 529 (7587):. - Tammikuu 2016. - ISSN 1476-4687 . - doi : 10.1038/luonto16961 . — . — PMID 26819042 .
  35. ↑ 1 2 Bengio, Yoshua. Tekoälyn syvien arkkitehtuurien oppiminen  // Koneoppimisen perusteet ja trendit. 2(1):1–127. - 2009. - doi : 10.1561/2200000006 .
  36. Schmidhuber, J. Deep Learning in Neural Networks: An Overview // Neural Networks. 61:85–117. - 2015. - doi : 10.1016/j.neunet.2014.09.003 . - arXiv : 1404.7828 . — PMID 25462637 .
  37. Szegedy, Christian; Toshev, Aleksanteri; Erhan, Dumitru. Syvät hermoverkot objektien havaitsemiseen  // Advances in Neural Information Processing Systems. - 2013. - S. 2553-2561 . Arkistoitu alkuperäisestä 29. kesäkuuta 2017.
  38. Hof, Robert D. Tuleeko tekoäly vihdoin omikseen?  // MIT Technology Review. Haettu 10.07.2018. Arkistoitu alkuperäisestä 31. maaliskuuta 2019.
  39. 1 2 3 Deng, L.; Yu, D. Deep Learning: Methods and Applications  (määrittelemätön)  // Signal Processingin perusteet ja suuntaukset. - 2014. - V. 7 , nro 3-4 . - S. 1-199 . - doi : 10.1561/2000000039 .
  40. 1 2 Bengio, Yoshua. Learning Deep Architectures for AI  (uuspr.)  // Perusteet ja suuntaukset koneoppimisessa. - 2009. - V. 2 , nro 1 . - S. 1-127 . - doi : 10.1561/2200000006 . Arkistoitu alkuperäisestä 4. maaliskuuta 2016. Arkistoitu kopio (linkki ei saatavilla) . Haettu 24. marraskuuta 2017. Arkistoitu alkuperäisestä 4. maaliskuuta 2016. 
  41. 1 2 3 Schmidhuber, J. Deep Learning in Neural Networks: An Overview  (indefinite)  // Neural Networks. - 2015. - T. 61 . - S. 85-117 . - doi : 10.1016/j.neunet.2014.09.003 . - arXiv : 1404.7828 . — PMID 25462637 .
  42. Bengio, Y.; Courville, A.; Vincent, P. Representation Learning: A Review and New Perspectives  // IEEE Transactions on Pattern Analysis and Machine Intelligence  [  : Journal. - 2013. - Vol. 35 , ei. 8 . - P. 1798-1828 . - doi : 10.1109/tpami.2013.50 . - arXiv : 1206.5538 .
  43. Bengio, Yoshua; LeCun, Yann; Hinton, Geoffrey. Syväoppiminen  (englanti)  // Luonto. - 2015. - Vol. 521 . - s. 436-444 . - doi : 10.1038/luonto14539 . — PMID 26017442 .
  44. Glauner, P. (2015). Deep Convolutional Neural Networks for Smile Recognition (MSc-tutkielma). Imperial College London, tietojenkäsittelyn laitos. arXiv : 1508.06535 .
  45. Song, Lee, Neural Information Processing, 2013
  46. Olshausen, BA Yksinkertaisten solujen vastaanottavan kentän ominaisuuksien syntyminen oppimalla harvakoodi luonnollisille kuville  //  Nature : Journal. - 1996. - Voi. 381 , no. 6583 . - s. 607-609 . - doi : 10.1038/381607a0 . — . — PMID 8637596 .
  47. Francois Chollet. Luku 9, jakso 2 // Syväoppiminen Pythonilla. - Manning, 2017. - 350 s. — ISBN 9781617294433 .
  48. Syväoppiminen tehokkaaseen erottavaan jäsennykseen . Aika lähteen alusta: 7min 45s. Arkistoitu 19. lokakuuta 2020 Wayback Machinessa
  49. Gomes, koneoppimismaestro Michael Jordan Big Datan harhaluuloista ja muista valtavista teknisistä ponnisteluista

Kirjallisuus