Delta-sääntö

Kokeneet kirjoittajat eivät ole vielä tarkistaneet sivun nykyistä versiota, ja se voi poiketa merkittävästi 22. syyskuuta 2018 tarkistetusta versiosta . tarkastukset vaativat 11 muokkausta .

Deltasääntö on perceptronin oppimismenetelmä, joka perustuu gradienttilaskeutumisen periaatteeseen virhepinnan yli. Sen jatkokehitys johti backpropagation - menetelmän luomiseen .

Delta Rule

Itse asiassa delta-sääntöä kutsutaan merkinnän matemaattiseksi muodoksi. Olkoon vektori tulosignaalien vektori ja vektori signaalien vektori, joka tulisi vastaanottaa perceptronista tulovektorin vaikutuksesta. Tässä on perceptronin muodostavien neuronien lukumäärä. Perceptronin tuloissa vastaanotetut tulosignaalit painotettiin ja summattiin, jolloin saatiin perceptronin lähtöarvojen vektori. Sitten on mahdollista määrittää virhevektori , jonka mitta on sama kuin lähtösignaalien vektorin mitta. Virhevektorin komponentit määritellään erotukseksi perceptronin neuronin lähtösignaalin odotetun ja todellisen arvon välillä: ${\mathbf {X}}={x_{1},x_{2},...x_{r},...x_{m}}$ ${\mathbf {D}}={d_{1},d_{2},...d_{k},...d_{n}}$ $n$ ${\mathbf {Y}}={y_{1},y_{2},...y_{k},...y_{n}}$ ${\mathbf {\mathrm{E} }}={e_{1},e_{2},...e_{k},...e_{n}}$

{\mathbf {\mathrm{E} =DY))

Tällaisilla merkinnöillä kaava i:nnen neuronin j:nnen painon säätämiseksi voidaan kirjoittaa seuraavasti:

w_{j}(t+1)=w_{j}(t)+e_{i}x_{j}

Signaalin numero vaihtelee yhdestä tulovektorin mittaan . Hermosolujen lukumäärä vaihtelee yhdestä hermosolujen lukumäärään . Arvo on nykyisen harjoitustoiston numero. Siten neuronin tulosignaalin paino muuttuu virheen pienentämisen suuntaan suhteessa hermosolun kokonaisvirheen arvoon. Usein otetaan käyttöön suhteellisuustekijä , jolla virheen suuruus kerrotaan. Tätä kerrointa kutsutaan oppimisnopeudeksi tai -nopeudeksi [1 ] . Näin ollen lopullinen kaava painojen säätämiseksi on: $j$ $m$ $i$ $n$ $t$ $\eta$

w_{j}(t+1)=w_{j}(t)+\eta e_{i}x_{j}

Yleistetty deltasääntö

Laajentaakseen perceptronin ratkaisemien tehtävien valikoimaa Widrow ja Hoff [2] ehdottivat sigmoidista aktivointitoimintoa hermosoluille. Tämä antoi perceptronille mahdollisuuden toimia jatkuvilla signaaleilla, mutta vaati oppimisalgoritmin muuttamisen [3] . Muokatun algoritmin tarkoituksena on minimoida neliövirhefunktio:

\epsilon ={\frac {1}{2}}\sum _{{i=1}}^{{n}}{(d_{i}-y_{i})^{2}}

Tämä funktio määritellään painomatriisin avulla . Tässä on neuronin numero ja syötteen numero. Tämän funktion kuvaama pinta on pseudoparaboloidin muotoinen [4] . Oppimisen tehtävänä on löytää tämän pinnan globaali minimi. Yksi tapa löytää minimi on gradienttilaskumenetelmä . Painot on säädetty pinnan anti-kaltevuuden suuntaan: $w_{ij}$ $i$ $j$

\Delta w_{{ij}}=-\eta {\frac {\partial \epsilon }{\partial w_{{ij))))

Tässä on oppimisnopeuskerroin. $\eta$

Virhefunktio on monimutkainen ja riippuu ensisijaisesti perceptronin lähtösignaaleista. Monimutkaisten toimintojen eriyttämissääntöjen mukaan :

{\frac {\partial \epsilon }{\partial w_{{ij))))={\frac {\partial \epsilon }{\partial y_{i))}{\frac {\partial y_{i)) {\osittainen w_{{ij))))

(*)

Kunkin neuronin lähtösignaali määritetään kaavalla: $y_{i}$

y_{i}=\operaattorinimi {f}(S_{i}),S_{i}=\summa _{{j=1}}^{{m}}{w_{{ij}}x_{j}}

Tässä on perceptronin tulojen lukumäärä, signaali j:nnessä sisääntulossa ja aktivointitoiminto. Sitten saamme: $m$ $x_{j}$ $\operaattorinimi {f}(S)$

{\frac {\partial y_{i}}{\partial w_{{ij}}}}=({\frac {\partial \operatorname {f}(S)}{\partial S)))\mid _{ {S=S_{i}}}{\frac {\partial S_{i}}{\partial w_{{ij}}}}=f^{\prime }(S_{i})x_{j}

(**)

Erottamalla virhefunktio lähtösignaalin arvolla, saamme:

{\frac {\partial \epsilon }{\partial y_{i}}}=-(d_{i}-y_{i})

(***)

Kun kaavat (**) ja (***) korvataan lausekkeella (*), saadaan lauseke i:nnen hermosolun j:nnen tulon painon säätämiseksi mille tahansa aktivointifunktiolle [5] :

\Delta w_{{ij}}=\eta (d_{i}-y_{i})f^{\prime }(S_{i})x_{j}

Tästä kaavasta voidaan nähdä, että aktivointifunktiona yleistä delta-sääntöä käytettäessä hermosolujen aktivaatiofunktion tulee olla jatkuvasti differentioituva koko x-akselilla. Aktivointifunktioilla yksinkertaisella derivaatalla (esimerkiksi logistinen käyrä tai hyperbolinen tangentti) on etu.

Delta-säännön pohjalta Widrow ja Hopf loivat yhden ensimmäisistä laitteiston neurotietokoneista Adalin ( 1960 ).

Muistiinpanot

↑ Nielsen, Michael A. Neuraaliverkot ja syväoppiminen . – 1.1.2015. Arkistoitu alkuperäisestä 6. syyskuuta 2016.
↑ Widrow B., Hoff ME - Mukautuvat kytkentäpiirit. 1969 IRE WESTCON -konferenssiennätys. – New York, 1960
↑ L. N. Yasnitsky - Johdatus tekoälyyn. - s.34-36
↑ L. N. Yasnitsky - Johdatus tekoälyyn. - s. 35
↑ L. N. Yasnitsky - Johdatus tekoälyyn. - s. 36

Katso myös

Kirjallisuus

Rosenblatt F. Neurodynamiikan periaatteet: Perceptronit ja aivojen mekanismien teoria. Washington, DC: Spartan Books (1962).
Russell, Ingrid. "Delta-sääntö". Hartfordin yliopisto. Arkistoitu alkuperäisestä 4. maaliskuuta 2016. Haettu 5. marraskuuta 2012.
Golovko, V. A. Neuroverkot: koulutus, organisointi ja soveltaminen: Kirja 4: Oppikirja yliopistoille "Soveltavan matematiikan ja fysiikan" suuntaan / V. A. Golovko; Tot. toim. A. I. Galushkin. - M.: IPRZhR, 2001. – 256 s. - (Neurotietokoneet ja niiden sovellukset): 5-93108-05-8.
Osovsky S. Neuroverkot tiedonkäsittelyyn (2002)
Hebb, D.O. Käyttäytymisen järjestäminen: neuropsykologinen teoria. New York (2002) (Alkuperäinen painos - 1949)
Hebb, D.O. Ehdolliset ja ehdottomat refleksit ja esto. Julkaisematon MA-tutkielma, McGill University, Montreal, Quebec, (1932)
Lakhmi C. Jain; NM Martin Neuroverkkojen, sumeiden järjestelmien ja geneettisten algoritmien fuusio: teolliset sovellukset. - CRC Press, CRC Press LLC, 1998