Tilastoissa , koneoppimisessa ja informaatioteoriassa ulottuvuuden vähentäminen on datamuunnos , joka koostuu muuttujien lukumäärän vähentämisestä päämuuttujien saamiseksi [1] . Muunnos voidaan jakaa piirteiden valintaan ja piirteiden poimimiseen [2] .
Ominaisuuden valintamenetelmä yrittää löytää osajoukon alkuperäisistä muuttujista (jota kutsutaan ominaisuuksiksi tai attribuuteiksi). Strategioita on kolme - suodatinstrategia (esimerkiksi ominaisuuksien kerääminen ), rivitysstrategia (esimerkiksi haku tarkkuuden mukaan) ja sisäkkäinen strategia (ominaisuudet valitaan lisättäväksi tai poistettavaksi mallia rakennettaessa ennustevirheiden perusteella). Katso myös kombinatoriset optimointiongelmat .
Joissakin tapauksissa data-analyysi , kuten regressio tai luokittelu , voidaan suorittaa supistetussa avaruudessa tarkemmin kuin alkuperäisessä avaruudessa [3] .
Ominaisuusprojektio muuntaa datan suuriulotteisesta avaruudesta pieniulotteiseen tilaan. Datamuunnos voi olla lineaarinen, kuten PCA :ssa , mutta on olemassa suuri määrä ei-lineaarisia ulottuvuuksien vähentämistekniikoita [4] [5] . Moniulotteista dataa varten voidaan käyttää tensoriesitystä ulottuvuuden vähentämiseen monilineaarisen aliavaruuden oppimisen avulla [6] .
Pääasiallinen lineaarinen tekniikka dimensioiden vähentämiseksi, pääkomponenttianalyysi, suorittaa datan lineaarisen kartoituksen alemman ulottuvuuden tilaan siten, että datan varianssi pieniulotteisessa esityksessä maksimoidaan. Käytännössä datasta muodostetaan kovarianssi- (ja joskus korrelaatio ) matriisi ja lasketaan tämän matriisin ominaisvektorit . Suurimpia ominaisarvoja (pääkomponentteja) vastaavia ominaisvektoreita voidaan nyt käyttää palauttamaan suurin osa alkuperäisen datan varianssista. Lisäksi muutamat ensimmäiset ominaisvektorit voidaan usein tulkita järjestelmän laajamittaisen fyysisen käyttäytymisen kannalta. Alkuperäinen avaruus (jonka ulottuvuus on yhtä suuri kuin pisteiden lukumäärä) pelkistetään (dataa menetettynä, mutta siinä toivossa, että tärkein varianssi säilyy) useiden ominaisvektorien kattamaksi avaruuteen.
Ei-negatiivisen matriisin hajottaminen hajottaa ei-negatiivisen matriisin kahden ei-negatiivisen matriisin tuloksi, joilla on lupaavia keinoja alueilla, joilla on vain ei-negatiivisia signaaleja [7] [8] , kuten tähtitiede [9] [10 ] ] . Ei-negatiivinen matriisin hajottelu tunnetaan hyvin Leen ja Seungin multiplikatiivisen päivityssäännön [7] ansiosta, jota on jatkuvasti kehitetty: epävarmuustekijöiden sisällyttäminen [9] , puuttuvien tietojen huomioon ottaminen ) ja rinnakkaislaskenta [11] , peräkkäinen rakenne [11] , mikä johtaa HMP:n [10] vakauteen ja lineaarisuuteen sekä muihin säätöihin .
Rakentamisen aikana vakaalla komponenttiperustalla ja lineaarisella mallinnusprosessilla peräkkäinen ei-negatiivinen matriisin hajottelu ( eng. peräkkäinen NMF ) [11] pystyy säilyttämään suoran havainnon (ts. suoraan havaitun, eikä ei epäsuorien todisteiden perusteella ) tähtitieteessä [10] yhtenä menetelmistä havaita eksoplaneettoja , erityisesti suoria havainnointia varten. PCA:han verrattuna ei-negatiivinen matriisihajotus ei poista matriisien keskiarvoa, joiden poistaminen johtaa ei-fysikaalisiin ei-negatiivisiin vuoteisiin, koska NMR pystyy säästämään enemmän tietoa kuin pääkomponenttianalyysi, minkä osoittivat Ren et. al . [10] .
Pääkomponenttianalyysiä voidaan soveltaa toisella tavalla käyttämällä ydintemppua . Tuloksena oleva tekniikka pystyy rakentamaan epälineaarisia kartoituksia, jotka maksimoivat datan varianssin. Tätä tekniikkaa kutsutaan ytimen pääkomponenttianalyysiksi .
Muita lupaavia ei-lineaarisia tekniikoita ovat monimuotoiset oppimistekniikat , kuten Isomap , paikallisesti lineaarinen upottaminen (LLE), paikallisesti lineaarinen upottaminen Hessin ( eng. Hessian LLE ), eigenmap-menetelmä Laplacian arvot . Laplacian Eigenmaps ) ja paikallinen tangenttiavaruuden kohdistusmenetelmä ( local tangent space alignment , LTSA) . Nämä tekniikat rakentavat pieniulotteisen esityksen tiedoista käyttämällä kustannusfunktiota, joka säilyttää datan paikalliset ominaisuudet ja jonka voidaan ajatella määrittelevän graafipohjaisen ytimen ytimen PCA:lle.
Viime aikoina on ehdotettu tekniikoita, joilla kiinteän ytimen määrittämisen sijaan yritetään oppia ydin käyttämällä puolimääräistä ohjelmointia . Merkittävin esimerkki tällaisesta tekniikasta on Maximum Residual Sweep (RMS). RMN:n keskeinen idea on nimenomaan säilyttää kaikki pareittain lähimpien naapureiden väliset etäisyydet (pistetuloavaruudessa) ja samalla maksimoida etäisyydet pisteiden välillä, jotka eivät ole lähimpiä naapureita.
Vaihtoehtoinen lähestymistapa naapuruuden säilyttämiseen on minimoida kustannusfunktio, joka mittaa etäisyyksiä syöttö- ja lähtötiloissa. Tärkeitä esimerkkejä tällaisista tekniikoista ovat: klassinen moniulotteinen skaalaus , joka on identtinen PCA:n kanssa; Isomap , joka käyttää geodeettisia etäisyyksiä tietoavaruudessa; diffuusiokarttamenetelmä , joka käyttää diffuusioetäisyyksiä tietoavaruudessa; t -hajautunut stokastinen naapuri upottaminen , t-SNE, joka minimoi pisteparien välisen eron, UMAP (Uniform Approximation and Projection), joka minimoi Kullback-Leibler-hajoamisen joukkojen välillä korkea- ja matalaulotteisissa tiloissa [12] ja epälineaarinen komponenttianalyysi ( Curvilinear Component Analysis , CCA ) .
Toinen lähestymistapa epälineaarisen mittasuhteen vähentämiseen on käyttää autoenkoodereita , jotka ovat erityinen syötettävien verkkojen tyyppi , jossa on pullon muotoinen (pullonkaula) piilotettu kerros [13] . Deep-enkooderien koulutus tehdään yleensä ahneella kerroksellisella esiopetuksella (esimerkiksi käyttämällä rajoitettujen Boltzmann-koneiden sarjaa), jota seuraa takaisinpropagointiin perustuva hienosäätövaihe .
Lineaarinen erotteluanalyysi (LDA) on yleistys Fisherin lineaarisesta erottelumenetelmästä, tekniikasta, jota käytetään tilastoissa, hahmontunnistuksessa ja koneoppimisessa, jotta voidaan löytää lineaarinen yhdistelmä ominaisuuksia, jotka kuvaavat tai erottavat kahta tai useampaa objekti- tai tapahtumaluokkaa.
Yleistetty erotteluanalyysi käsittelee epälineaarista erotteluanalyysiä käyttämällä ydinfunktiooperaattoria . Taustalla oleva teoria on lähellä tukivektorikonetta (SVM), koska SVM-menetelmä antaa syötevektorien kartoituksen korkeadimensionaaliseen piirreavaruuteen [14] [15] . LDA:n tapaan ODA:n tavoitteena on etsiä piirteiden projektiota alemman ulottuvuuden tilaan maksimoimalla luokkien välisen invarianssin (esim . luokkien välinen hajonta) ja luokan sisäisen invarianssin ( eng. luokan sisäinen hajonta ) suhde. .
Autoenkooderilla voidaan oppia epälineaarisen ulottuvuuden pienennys- ja koodausfunktiot sekä käänteisfunktiot koodatusta alkuperäiseen esitykseen.
Korkeadimensionaalisille tietojoukoille (eli joissa on yli 10 ulottuvuutta) ulottuvuuden vähennys suoritetaan yleensä ennen k - lähimpien naapurien algoritmin ( k-NN) soveltamista, jotta vältetään ulottuvuuden kirous [16] .
Ominaisuuden erottaminen ja dimensioiden vähentäminen voidaan yhdistää yhdessä vaiheessa käyttämällä pääkomponenttianalyysiä (PCA) , lineaarista erotteluanalyysiä (LDA), kanonista korrelaatioanalyysiä (CCA) tai ei-negatiivista matriisihajoamista (NMR) alustavana vaiheena, jota seuraa ryhmittely K-NN piirrevektorissa supistetun ulottuvuuden avaruudessa. Koneoppimisessa tätä prosessia kutsutaan myös mataladimensionaaliseksi sisäkkäiseksi [ 17] .
Kaikille suuriulotteisille tietojoukoille (esimerkiksi kun etsitään samankaltaisuutta videovirrasta, DNA-datasta tai suuriulotteisesta aikasarjasta ) käyttämällä nopeaa likimääräistä K-NN-hakua käyttämällä paikkatietoherkkää hajautusarvoa , satunnaista projektiota [18] , "sketches" [19] (esimerkiksi tensoriluonnos ) tai muut korkeaulotteiset samankaltaisuushakutekniikat erittäin suurten tietokantojen arsenaalista[ selventää ] saattaa olla ainoa mahdollinen vaihtoehto.
Neurotieteissä joskus käytetty ulottuvuuden vähentämistekniikka on maksimi informatiiviset mitat . Tekniikka löytää pieniulotteiset esitykset tietojoukosta, jotka säilyttävät mahdollisimman paljon tietoa alkuperäisestä tiedosta.
| Koneoppiminen ja tiedon louhinta | |
|---|---|
| Tehtävät | |
| Opettajan kanssa oppimista | |
| ryhmäanalyysi | |
| Mittasuhteiden vähentäminen | |
| Rakenteellinen ennustaminen | |
| Anomalian havaitseminen | |
| Piirrä todennäköisyysmallit | |
| Neuroverkot | |
| Vahvistusoppiminen |
|
| Teoria | |
| Lehdet ja konferenssit |
|
| Recommender-järjestelmät | |
|---|---|
| Käsitteet |
|
| Menetelmät ja kysymykset |
|
| Toteutukset |
|
| Tutkimus |
|