Poikkeus (hermoverkot)

Kokeneet kirjoittajat eivät ole vielä tarkistaneet sivun nykyistä versiota, ja se voi poiketa merkittävästi 31. tammikuuta 2020 tarkistetusta versiosta . tarkastukset vaativat 5 muokkausta .

Poikkeus tai keskeyttäminen ( englanniksi  dropout ) - keinotekoisten hermoverkkojen laillistamismenetelmä , joka on suunniteltu vähentämään verkon uudelleenkoulutusta estämällä yksittäisten hermosolujen monimutkainen yhteissopeutuminen harjoitustietoihin harjoituksen aikana. [yksi]

Termi "dropout" (knocking out, ejection) kuvaa tietyn prosenttiosuuden (esimerkiksi 30 %) satunnaisten hermosolujen (sijaitsee sekä piilossa että näkyvissä kerroksissa) poissulkemista eri iteraatioissa (epookeissa) hermoverkkokoulutuksen aikana. Tämä on erittäin tehokas tapa keskiarvoistaa malleja hermoverkossa. Tämän seurauksena koulutetummat neuronit saavat enemmän painoa verkossa. [2] [3] Tämä tekniikka lisää merkittävästi oppimisnopeutta, koulutusdatan koulutuksen laatua ja parantaa myös malliennusteiden laatua uusille testidataille. [yksi]

Katso myös

Linkki

Muistiinpanot

  1. 1 2 Hinton, Geoffrey E.; Srivastava, Nitish; Križevski, Aleksi; Sutskever, Ilya & Salakhutdinov, Ruslan R. (2012), Neuroverkkojen parantaminen estämällä ominaisuusilmaisimien yhteissopeutuminen, arΧiv : 1207.0580 [cs.NE]. 
  2. Dropout: Yksinkertainen tapa estää hermoverkkojen liiallinen sovittaminen . Haettu 26. heinäkuuta 2015. Arkistoitu alkuperäisestä 5. joulukuuta 2019.
  3. Warde-Farley, David; Goodfellow, Ian J.; Courville, Aaron & Bengio, Yoshua (2013-12-20), Empiirinen analyysi keskeytymisestä paloittain lineaarisissa verkoissa, arΧiv : 1312.6197 [stat.ML].