Kohosen itseorganisoituva kartta

Kohosen itseorganisoituva kartta ( englanniksi Self-organising map - SOM) on valvomaton hermoverkko , joka suorittaa visualisointi- ja klusterointitehtävää . Verkoston idean esitti suomalainen tiedemies T. Kohonen . Se on menetelmä moniulotteisen tilan projisoimiseksi tilaan, jossa on pienempi ulottuvuus (useimmiten kaksiulotteinen), sitä käytetään myös mallinnus-, ennustamis-, itsenäisten ominaisuuksien joukkojen tunnistamiseen, kuvioiden etsimiseen suurista tietosarjoista liittyvien ongelmien ratkaisemiseen. , tietokonepelien kehittäminen, värien kvantisointi niiden rajoitettuun määrään väripaletin indeksejä: tulostettaessa tulostimella ja aikaisemmin PC:llä tai digibokseilla, joissa on näyttö, jossa on pienempi määrä värejä, arkistointia varten [yleinen käyttö] tai videokoodekit jne. Se on yksi Kohosen hermoverkkojen versioista .

Historia

Menetelmän ehdotti suomalainen tiedemies Teuvo Kohonen vuonna 1984. Alkuperäiseen malliin on monia muunnelmia.

Verkon rakenne

Itseorganisoituva kartta koostuu komponenteista, joita kutsutaan solmuiksi tai neuroneiksi. Niiden lukumäärän määrittää analyytikko . Jokainen solmu on kuvattu kahdella vektorilla. Ensimmäinen on ns. painon m vektori, jolla on sama mitta kuin syötteellä. Toinen on vektori r , joka on kartan solmun koordinaatit. Kohosen kartta esitetään visuaalisesti suorakaiteen tai kuusikulmaisen solun avulla; jälkimmäistä käytetään useammin, koska tässä tapauksessa vierekkäisten solujen keskipisteiden väliset etäisyydet ovat samat, mikä lisää kartan visualisoinnin oikeellisuutta.

Aluksi syöttötiedon ulottuvuus on tiedossa, jollain tavalla kartan alkuperäinen versio rakennetaan sen varaan. Oppimisprosessin aikana solmun painovektorit lähestyvät syöttödataa. Jokaiselle havainnolle (näytteelle) valitaan painovektorin suhteen samankaltaisin solmu, jonka painovektorin arvo lähestyy havaintoa. Myös useiden lähellä olevien solmujen painovektorit lähestyvät havaintoa, joten jos kaksi havaintoa olivat samanlaisia syöttötietojoukossa, läheiset solmut vastaavat niitä kartalla. Syklinen oppimisprosessi, joka iteroi syöttödatan yli, päättyy, kun kartta saavuttaa hyväksyttävän (analyytikon ennalta määrittämän) virheen tai tietyn iteraatiomäärän jälkeen. Niinpä Kohosen kartta luokittelee koulutuksen tuloksena syötetiedot klustereihin ja näyttää visuaalisesti moniulotteisen syöttötiedon kaksiulotteisessa tasossa jakaen läheisten piirteiden vektorit naapurisoluihin ja värittämällä ne neuronien analysoitavien parametrien mukaan.

Algoritmin tuloksena saadaan seuraavat kartat:

neuronien syöttökartta — visualisoi syötetietojen sisäisen rakenteen säätämällä karttaneuronien painoja. Yleensä käytetään useita syötekarttoja, joista jokainen näyttää yhden niistä ja on värillinen neuronin painon mukaan. Yhdessä kartassa tietty väri osoittaa alueen, joka sisältää suunnilleen samat syötteet analysoitaville esimerkeille.
neuronien lähtökartta - visualisoi mallin tuloesimerkkien suhteellisesta sijainnista. Kartan ääriviivat ovat klustereita, jotka koostuvat neuroneista, joilla on samanlaiset lähtöarvot.
erikoiskartat ovat Kohosen itseorganisoituvan karttaalgoritmin soveltamisen tuloksena saatu klusterikartta sekä muita niitä kuvaavia karttoja. [yksi]

Verkkokäyttö

Kartan alustus, eli solmujen painovektoreiden alkuperäinen määritys.
Kierto:
- Seuraavan havainnon valitseminen (vektori syötejoukosta).
- Parhaan vastaavan yksikön löytäminen sille (BMU tai Voittaja) - kartalla oleva solmu, jonka painovektori eroaa vähiten havainnosta (analyytikon asettamassa metriikassa useimmiten euklidinen).
- BMU-naapureiden lukumäärän määrittäminen ja harjoittelu - BMU:n ja sen naapureiden painovektorien muuttaminen niiden lähentämiseksi havaintoon.
- Karttavirheen määritelmä.

Algoritmi

Alustus

On kolme yleisintä tapaa asettaa solmun alkupainot:

- Kaikkien koordinaattien asettaminen satunnaisluvuilla.
- Satunnaishavainnon arvon määrittäminen syötteestä painovektoriin.
- Painovektorien valinta syötetietojoukon pääkomponenttien kattamasta lineaarisesta avaruudesta.
Kierrä

Olkoon iteraationumero (alustus vastaa numeroa 0). $t$

- Valitse mielivaltainen havainto syötetietojen joukosta. $x(t)$
- Etsi etäisyydet siitä kartan kaikkien solmujen painovektoreihin ja määritä painoltaan lähin solmu . Tämä on BMU tai Voittaja. Edellytys : $M_c(t)$ $M_c(t)$

\| x(t)-m_c(t)\|\leq\| x(t)-m_i(t)\|

, mille tahansa , missä on solmun painovektori . Jos ehdon täyttäviä solmuja on useita, BMU valitaan satunnaisesti niiden joukosta.

m_i(t)

m_i(t)

M_i(t)

- Käytä funktiota (naapurifunktio) määrittääksesi naapurit ja muuttaaksesi niiden painovektoreita. $h$ $M_c$
  - Harjoittele $h$

Funktio määrittää solmujen "naapurimitan" ja painovektoreiden muutoksen . Sen pitäisi vähitellen tarkentaa niiden arvoja, ensin suuremmassa määrässä solmuja ja vahvempia, sitten pienemmässä ja heikommassa. Usein Gaussin funktiota käytetään naapuruusfunktiona:

Mi}

M_c

h_{ci}(t)=\alpha(t)\cdot\exp(-\frac{\|r_c-r_i\|^2}{2\sigma^2(t)})

missä on harjoituskerroin, joka pienenee monotonisesti jokaisella seuraavalla iteraatiolla (eli se määrittää BMU:n ja sen naapurimaiden painovektorien arvon likiarvon; mitä suurempi askel, sitä pienempi tarkennus);

0<\alfa(t)<1

r_{i}

, - solmujen koordinaatit ja kartalla;

r_{c}

M_i(t)

M_c(t)

\sigma(t)

— tekijä, joka vähentää naapurien määrää iteraatioilla, pienenee monotonisesti. Analyytikko asettaa parametrit ja niiden vähenemisen luonteen.

\alpha

\sigma

Helpompi tapa määritellä naapurustofunktio:

h_{ci}(t)=\alpha(t)

, jos se on analyytikon ennalta määrittämän säteen läheisyydessä ja muuten 0.

M_i(t)

M_c(t)

Funktio on yhtä suuri BMU:lle ja pienenee etäisyyden mukaan BMU:sta.

h(t)

\alpha(t)

- - Painovektorin muuttaminen

Muuta painovektoria kaavan mukaan:

m_i(t)=m_i(t-1)+h_{ci}(t)\cdot(x(t)-m_i(t-1))

Että. kaikkien BMU:n naapureina olevien solmujen painovektorit lähestyvät tarkasteltavaa havaintoa.

- Karttavirheen laskeminen

Esimerkiksi havaintojen välisten etäisyyksien ja niitä vastaavien BMU:iden painovektoreiden aritmeettisena keskiarvona:

\frac{1}{N}\sum_{i=1}^{N}\|x_{i}-m_{c}\|

, missä N on syötetietojoukon elementtien lukumäärä.

Mallin ominaisuudet

Kestävyys meluisalle datalle, nopea ja valvomaton oppiminen, kyky yksinkertaistaa monimuuttujatulodataa visualisoinnin avulla. [2]

Itseorganisoituvia Kohosen karttoja voidaan käyttää klusterianalyysiin vain, jos klusterien lukumäärä on etukäteen tiedossa [2] .

Tärkeä haittapuoli on, että neuroverkkojen työn lopputulos riippuu verkon alkuasetuksista. Toisaalta neuroverkot voivat teoriassa approksimoida mitä tahansa jatkuvaa funktiota, jolloin tutkija ei voi tehdä mallista etukäteen mitään hypoteeseja [2] .

Katso myös

Muistiinpanot

↑ Chubukova, 2000 , s. 140.
↑ 1 2 3 Manzhula, 2011 .

Kirjallisuus

T. Kohonen , Self-Organizing Maps (Third Extended Edition), New York, 2001, 501 sivua. ISBN 3-540-67921-9
Debock G., Kohonen T. Taloustietojen analyysi itseorganisoituvilla kartoilla, Alpina Publisher, 2001, 317 s. ISBN 5-89684-013-6
Zinoviev A. Yu. Moniulotteisen datan visualisointi . - Krasnojarsk: Toim. Krasnojarskin valtion teknillinen yliopisto, 2000. - 180 s.
Chubukova I.A. tiedon louhinta . - 2000. - 326 s.
Manzhula V.G., Fedyashov D.S. Kohosen hermoverkot ja sumeat neuroverkot tiedon louhinnassa . – 2011.
Lakhmi C. Jain; NM Martin Neuroverkkojen, sumeiden järjestelmien ja geneettisten algoritmien fuusio: teolliset sovellukset. - CRC Press, CRC Press LLC, 1998

Linkit

SOM-tutkimus Teknillisen korkeakoulun verkkosivuilla
WEBSOM , Kohosen verkostoprojekti
PCA, SOM ja GSOM: sovelma , E. M. Mirkes ja Leicesterin yliopisto. Pääkomponenttianalyysi, itseorganisoituvat kartat ja kasvavat itseorganisoituvat kartat. Luku online-oppikirjasta, jossa on ohjelmia, joiden avulla voit suorittaa vertailevia tutkimuksia.
Luento itseorganisoituvista Kohosen kartoista

Keinotekoisten neuroverkkojen tyypit

Feed-forward-verkko ( Säteittäisten perustoimintojen verkko )
Yksikerroksinen perceptroni
Monikerroksinen Perceptron ( Rosenblatt • Rumelhart )
Hopfieldin verkko
Markovin ketju
Boltzmannin kone
Rajoitettu Boltzmann-kone
Autoencoder ( Denoise autoencoder • Sparse autoencoder • Variational autoencoder )
Syvä luottamuksen verkko
Konvoluutiohermoverkko
Syvä konvoluutiohermoverkko
Käyttöönoton hermoverkko
Deep Convolutional Inverse Graphic Network
Generatiivinen kontradiktorinen verkosto
Toistuva neuroverkko
Rekursiiviset hermoverkot
pitkä lyhytaikainen muisti
Hallittu toistuva esto
Neuraaliset Turingin koneet
Kaksisuuntainen verkko ( Kaksisuuntainen toistuva hermoverkko • Kaksisuuntainen verkko pitkällä lyhytaikaisella muistilla • Kaksisuuntaisesti ohjatut toistuvat neuronit )
Deep Residual Network
Neuraalinen kaikuverkko
Extreme Learning Method
Epävakaiden tilojen menetelmä
Tuki vektorikonetta
Kohosen verkko
Kohosen itseorganisoituva kartta
Kapselin hermoverkko
Assosiatiivinen muisti neuroverkoissa

Koneoppiminen ja tiedon louhinta
Tehtävät	Luokittelu ongelma Oppiminen ilman opettajaa Opettajan avustama oppiminen Taantumisanalyysi AutoML Yhdistyksen säännöt Ominaisuuksien erottaminen Ominaisuuksien koulutus Ranking koulutus Kieliopillinen johtaminen Verkko-oppiminen
Opettajan kanssa oppimista	k-lähimmän naapurin menetelmä Naiivi Bayesin luokitin päätöspuu Tuki vektorikonetta Lineaarinen regressio Logistinen regressio perceptron Mallien kokoonpanot Pussittaminen tehostaa satunnainen metsä Asiaankuuluva vektorimenetelmä
ryhmäanalyysi	k-keinomenetelmä Sumea klusterointimenetelmä Hierarkkinen klusterointi EM-algoritmi KOIVU PARANTAA DBSCAN OPTIIKKA Keskimääräinen siirto
Mittasuhteiden vähentäminen	Tekijäanalyysi Pääkomponenttimenetelmä CCA ICA LDA Ei-negatiivinen matriisin laajennus t-SNE
Rakenteellinen ennustaminen	Graafinen todennäköisyysmalli Bayesin verkko Piilotettu Markovin malli CRF
Anomalian havaitseminen	k-lähimmän naapurin menetelmä Paikallinen päästötaso
Piirrä todennäköisyysmallit	Bayesin verkko Markovin verkko Piilotettu Markovin malli
Neuroverkot	Rajoitettu Boltzmann-kone itseorganisoituva kartta Aktivointitoiminto Sigmoidi softmax Radiaalinen kantafunktio Takaisin lisäysmenetelmä Syväoppiminen Monikerroksinen perceptroni Toistuva neuroverkko pitkä lyhytaikainen muisti Hallittu toistuva esto Konvoluutiohermoverkko U-verkko Autoenkooderi
Vahvistusoppiminen	Markovin prosessi Bellmanin yhtälö Ahne algoritmi Q-oppiminen SARSA Aikaero (TD)
Teoria	Vapnik-Chervonenkis teoria Bias-dispersion dilemma Laskennallinen oppimisteoria Empiirinen riskin minimointi Occam oppii PAC-oppiminen Tilastollinen oppimisteoria
Lehdet ja konferenssit	NeurIPS ICML ML JMLR ArXiv:cs.LG