Perceptron muuttuvilla SA-liitännöillä

Perceptron muuttuvilla SA-liitännöillä  — Rosenblatt-perceptron , jossa on useita R-elementtejä ja muuttuvia (oppivia) SA- ja AR-yhteyksiä. Nimessä painotetaan SA-yhteyttä, koska tämä on viimeinen Rosenblattin poistama rajoitus tarkasteltaessa alkeisperceptronia, jonka seurauksena syntyy yleisimmän muotoinen järjestelmä topologisella rakenteella S -> A -> R Tämä perceptroni vastaa Rumelhartin monikerroksista perceptronia, vaikka Rosenblatt itse tällä nimellä käsitteli tapausta vain kahden kytkentäkerroksen kanssa. Mutta tämä riittää luonnehtimaan tätä perceptronien alalajia samalla tavalla kuin Rumelhart teki. Monimutkaisempaan analyysiin perceptronien kyvyistä Rosenblatt siirtyy nelikerroksisiin perceptroneihin pitäen niitä vain monikerroksisina perceptroneina .

Paikallistietosääntö

Jotta virheenkorjausmenetelmää voidaan soveltaa perceptronin kaikkien kerrosten harjoittamiseen, on välttämätöntä määrittää virhe paitsi ulkoisille R-elementeille myös sisäisille A-elementeille. Vaikeus on siinä, että jos ongelman olosuhteista saadaan haluttu reaktio, niin A-elementin haluttu tila jää tuntemattomaksi. Voidaan vain väittää, että A-elementin haluttu tila on tila, jossa sen aktiivisuus edistää sen sijaan, että se estää perceptronin oppimaan tietyn reaktion [1] . Järjestelmää olisi mahdollista analysoida globaalisti, mutta tämä tarkoittaisi, että vahvistusjärjestelmä tietäisi ratkaisun etukäteen, eli varsinaista oppimista ei tapahtuisi. Itse asiassa Bongard ehdotti juuri tätä, mutta tällainen ratkaisu ei takaa konvergenssia ja on resurssiintensiivisempi kuin iteratiivinen koulutus. Siksi Rosenblatt ehdotti paikallisen tiedon sääntöä :

Minkä tahansa A-elementin sallitun virheen arvo riippuu vain sen toimintaan liittyvästä tiedosta tai siihen saapuvista signaaleista, sen lähtöliitäntöjen painosta ja virheen jakautumisesta sen lähdössä hetkellä t.

Toisin sanoen A-elementin virheen voi määrittää vain itse A-elementti ja ne elementit, joihin se on suoraan yhteydessä.

Deterministiset opetusmenetelmät

Rosenblatt todisti seuraavan lauseen:

Annettu kolmikerroksinen perceptron, jossa on sarjaliitännät, yksinkertaiset A- ja R-elementit ja muuttuvat SA-liitännät, ja luokitus C(W), jolle tiedetään olevan ratkaisu. Silloin voi käydä ilmi, että ratkaisu ei ole saavutettavissa käyttämällä determinististä korjausprosessia, joka noudattaa paikallista informaatiosääntöä.

Tällaisen korjausprosessin erikoistapaus on backpropagation - menetelmä .

Stokastiset oppimismenetelmät

Osoittaakseen, että ratkaisu voidaan saavuttaa ei-deterministisellä (stokastisella) menetelmällä, Rosenblatt osoitti seuraavan lauseen:

Annettu kolmikerroksinen perceptron, jossa on sarjalinkit, yksinkertaiset A- ja R-elementit, muuttuvat SA-linkit, rajoitetut AR-linkin painot ja luokitus C(W), jolle on olemassa ratkaisu. Sitten todennäköisyydellä yksi, C(W):n ratkaisu voidaan saada äärellisessä ajassa virheen takaisinkytkentäkorjausmenetelmällä edellyttäen, että jokainen W:n ärsyke esitetään välttämättä useammin kuin kerran äärellisessä aikavälissä ja että kaikki todennäköisyydet , ja suurempi kuin 0 ja pienempi kuin 1.

Siten, jotta voidaan kouluttaa useampi kuin yksi kerros hermoverkossa ja saada 100 % konvergenssi, melko paljon ehtoja on täytettävä. Ja Rosenblatt ehdotti tällaista algoritmia nimellä virheen takaisinpropagation korjausmenetelmä , jota ei pidä sekoittaa virheen takaisinpropagation menetelmään .

Muistiinpanot

  1. ↑ Rosenblatt, F., s. 231

Kirjallisuus