Hammingin hermoverkko

Kokeneet kirjoittajat eivät ole vielä tarkistaneet sivun nykyistä versiota, ja se voi poiketa merkittävästi 2. elokuuta 2019 tarkistetusta versiosta . vahvistus vaatii 1 muokkauksen .

Hamming-hermoverkko on eräänlainen hermoverkko, jota käytetään luokittelemaan binäärivektoreita ja jonka pääkriteeri on Hamming-etäisyys . Se on Hopfieldin hermoverkon kehitystyö .

Verkkoa käytetään korreloimaan binäärivektoria , jossa , johonkin viitekuvasta (jokaisella luokalla on oma kuva) tai päättämään, että vektori ei vastaa mitään standardia. Toisin kuin Hopfield-verkko, se ei anna itse näytettä, vaan sen numeroa. $x=(x_{1},x_{2},x_{3},...,x_{m})$ ${\displaystyle x_{i}=\{-1,1\))$

Verkkoa ehdotti Richard Lippmann vuonna 1987. Se asetettiin erikoistuneeksi heteroassosiatiiviseksi tallennuslaitteeksi. [yksi]

Arkkitehtuuri

Hamming-verkko on kolmikerroksinen neuroverkko, jossa on palautetta. Toisen ja kolmannen kerroksen neuronien lukumäärä on yhtä suuri kuin luokitusluokkien lukumäärä. Toisen kerroksen neuronien synapsit on kytketty jokaiseen verkon sisääntuloon, kolmannen kerroksen neuronit on yhdistetty toisiinsa negatiivisilla yhteyksillä, paitsi kunkin neuronin omaan aksoniin kytketty synapsi - sillä on positiivinen palaute.

Verkkokoulutus

Ensimmäisen kerroksen painokertoimien matriisi saadaan referenssikuvien matriisista as , jossa vertailukuvien matriisi on matriisi , jonka jokainen rivi on vastaava vertailubinäärivektori. Aktivointitoiminto määritellään seuraavasti $X$ $w_{ij}={\dfrac {x_{ij}}{2}}$ $K\times M$ $f(s)=\left\{{\begin{matrix}0,&s\leqslant 0,\\s,&0<s\leqslant T;\\T,&s>T\\\end{matriisi} }\oikea.$

missä $T={\dfrac {M}{2))$

Toisen kerroksen painomatriisin koko on , ja se määritellään muodossa $K\times K$

{\begin{bmatrix}1&-\epsilon &\cdots &-\epsilon \\-\epsilon &1&\cdots &-\epsilon \\\cdots &\cdots &\cdots &\cdots \\-\epsilon &-\epsilon &\cdots &1\end{bmatrix}},

missä $\epsilon \in (0,{\dfrac {1}{K}}]$

Näin ollen koulutus toteutetaan yhdessä syklissä.

Verkkokäyttö

Luokiteltu vektori annetaan syötteenä . Ensimmäisen kerroksen neuronien tila lasketaan seuraavasti: . Ensimmäisen kerroksen neuronien lähtö saadaan soveltamalla tilaan aktivointifunktiota, ja siitä tulee toisen kerroksen vastaavien neuronien alkuarvo. Lisäksi toisen kerroksen hermosolujen tilat saadaan niiden edellisestä tilasta toisen kerroksen painokertoimien matriisin perusteella, ja toimenpide toistetaan iteratiivisesti, kunnes toisen kerroksen tilavektori stabiloituu - kunnes kahden peräkkäisen iteroinnin vektorien erotus tulee pienemmäksi kuin tietty arvo (käytännössä arvot suuruusluokkaa 0 ,yksi). ${\displaystyle {\vec {x^{*))))$ $s_{1j}=w_{ji}x_{i}^{*}$ $E_{{max}}$

Jos lopulta yksi vektori on positiivinen ja loput negatiivisia, se osoittaa sopivaan näytteeseen. $E_{{max}}$

Esimerkkejä

Verkon avulla voidaan tunnistaa vain mustavalkoisista pikseleistä koostuvat kuvat, kuten kirjekuorikoodileimaan kirjoitettu indeksi .

Muistiinpanot

↑ Richard Lipmann. 1987. Johdatus neuroverkkojen laskentaan. IEEE Assp -lehti

Kirjallisuus

Vladimir Golovko. Neuroverkot. Koulutus, organisointi ja soveltaminen. Kirja 4. - M . : IPRZhR, 2001. - 256 s.
Osovsky S. Neuroverkot tiedonkäsittelyyn. - M. : Talous ja tilastot, 2002. - 344 s.

Keinotekoisten neuroverkkojen tyypit

Feed-forward-verkko ( Säteittäisten perustoimintojen verkko )
Yksikerroksinen perceptroni
Monikerroksinen Perceptron ( Rosenblatt • Rumelhart )
Hopfieldin verkko
Markovin ketju
Boltzmannin kone
Rajoitettu Boltzmann-kone
Autoencoder ( Denoise autoencoder • Sparse autoencoder • Variational autoencoder )
Syvä luottamuksen verkko
Konvoluutiohermoverkko
Syvä konvoluutiohermoverkko
Käyttöönoton hermoverkko
Deep Convolutional Inverse Graphic Network
Generatiivinen kontradiktorinen verkosto
Toistuva neuroverkko
Rekursiiviset hermoverkot
pitkä lyhytaikainen muisti
Hallittu toistuva esto
Neuraaliset Turingin koneet
Kaksisuuntainen verkko ( Kaksisuuntainen toistuva hermoverkko • Kaksisuuntainen verkko pitkällä lyhytaikaisella muistilla • Kaksisuuntaisesti ohjatut toistuvat neuronit )
Deep Residual Network
Neuraalinen kaikuverkko
Extreme Learning Method
Epävakaiden tilojen menetelmä
Tuki vektorikonetta
Kohosen verkko
Kohosen itseorganisoituva kartta
Kapselin hermoverkko
Assosiatiivinen muisti neuroverkoissa

Koneoppiminen ja tiedon louhinta
Tehtävät	Luokitteluongelma Oppiminen ilman opettajaa Opettajan avustama oppiminen Taantumisanalyysi AutoML Yhdistyksen säännöt Ominaisuuksien erottaminen Ominaisuuksien koulutus Ranking koulutus Kieliopillinen johtaminen Verkko-oppiminen
Opettajan kanssa oppimista	k-lähimmän naapurin menetelmä Naiivi Bayesin luokitin päätöspuu Tuki vektorikonetta Lineaarinen regressio Logistinen regressio perceptron Mallien kokoonpanot Pussittaminen tehostaa satunnainen metsä Asiaankuuluva vektorimenetelmä
ryhmäanalyysi	k-keinomenetelmä Sumea klusterointimenetelmä Hierarkkinen klusterointi EM-algoritmi KOIVU PARANTAA DBSCAN OPTIIKKA Keskimääräinen siirto
Mittasuhteiden vähentäminen	Tekijäanalyysi Pääkomponenttimenetelmä CCA ICA LDA Ei-negatiivinen matriisin laajennus t-SNE
Rakenteellinen ennustaminen	Graafinen todennäköisyysmalli Bayesin verkko Piilotettu Markovin malli CRF
Anomalian havaitseminen	k-lähimmän naapurin menetelmä Paikallinen päästötaso
Piirrä todennäköisyysmallit	Bayesin verkko Markovin verkko Piilotettu Markovin malli
Neuroverkot	Rajoitettu Boltzmann-kone itseorganisoituva kartta Aktivointitoiminto Sigmoidi softmax Radiaalinen kantafunktio Takaisin lisäysmenetelmä Syväoppiminen Monikerroksinen perceptroni Toistuva neuroverkko pitkä lyhytaikainen muisti Hallittu toistuva esto Konvoluutiohermoverkko U-Net Autoenkooderi
Vahvistusoppiminen	Markovin prosessi Bellmanin yhtälö Ahne algoritmi Q-oppiminen SARSA Aikaero (TD)
Teoria	Vapnik-Chervonenkis teoria Bias-dispersion dilemma Laskennallinen oppimisteoria Empiirinen riskin minimointi Occam oppii PAC-oppiminen Tilastollinen oppimisteoria
Lehdet ja konferenssit	NeurIPS ICML ML JMLR ArXiv:cs.LG