K-lähimmän naapurin menetelmä

Kokeneet kirjoittajat eivät ole vielä tarkistaneet sivun nykyistä versiota, ja se voi poiketa merkittävästi 26. syyskuuta 2019 tarkistetusta versiosta . tarkastukset vaativat 5 muokkausta .

Lähin naapuri $k$ -algoritmi ( k-NN) on metrinen algoritmi automaattista objektien luokittelua tai regressiota varten .

Käytettäessä luokittelumenetelmää kohde osoitetaan luokkaan, joka on yleisin tämän elementin naapureista, joiden luokat ovat jo tiedossa. Jos käytetään regressiomenetelmää , objektille määritetään sitä lähinnä olevien kohteiden keskiarvo, joiden arvot ovat jo tiedossa. $k$ $k$

Algoritmia voidaan soveltaa näytteisiin, joissa on suuri määrä attribuutteja (moniulotteisia). Tätä varten sinun on määritettävä etäisyysfunktio ennen hakemista ; Klassinen versio tällaisesta funktiosta on euklidinen metriikka [1] [2] .

Normalisointi

Eri attribuutilla voi olla eri alueet otoksessa esitettyjä arvoja (esimerkiksi attribuutti A on edustettuna alueella 0,1 - 0,5 ja attribuutti B on esitetty alueella 1000 - 5000), sitten etäisyysarvot voi olla erittäin riippuvainen attribuuteista, joilla on suurempi alue. Siksi tiedot yleensä normalisoidaan. Klusterianalyysissä datan normalisointiin on kaksi päätapaa: minimax-normalisointi ja Z-normalisointi.

Miniminormalisointi tehdään seuraavasti:

x'=(x-\min[X])/(\max[X]-\min[X])

tässä tapauksessa kaikki arvot ovat välillä 0 - 1; diskreetit binaariarvot määritellään 0:ksi ja 1:ksi.

Z-normalisointi:

x'=(xM[X])/\sigma[X]

missä on keskihajonta ; tässä tapauksessa suurin osa arvoista osuu alueelle . $\sigma$ $(-3\sigma ;3\sigma )$

Merkittävien ominaisuuksien korostaminen

Jotkut merkittävät attribuutit voivat olla tärkeämpiä kuin toiset, joten jokaiselle attribuutille voidaan määrittää tietty paino (esimerkiksi laskettu testinäytteen ja varianssivirheen optimoinnin avulla). Siten jokaiselle attribuutille annetaan paino , jotta attribuutin arvo osuu alueelle (normalisoiduille arvoille minimax-menetelmällä). Jos attribuutille on esimerkiksi määritetty painoarvo 2,7, sen normalisoitu painotettu arvo on alueella $k$ $z_{k}$ $[0;z_{k}\max(k)]$ $[0;2,7]$

Painotettu tapa

Painotetulla menetelmällä ei huomioida vain tiettyjen alueelle kuuluneiden luokkien lukumäärää, vaan myös niiden etäisyyttä uudesta arvosta.

Jokaiselle luokalle määritetään läheisyyspisteet: $j$

Q_{j}=\sum _{{i=1}}^{n}{\frac {1}{d(x,a_{i})^{2}}}

missä on etäisyys uudesta arvosta kohteeseen . ${\näyttötyyli d(x,a_{i})}$ $x$ ${\displaystyle a_{i))$

Kummalla luokalla on korkeampi läheisyysarvo, se luokka määrätään uudelle objektille.

Menetelmän avulla voit laskea luokitellun kohteen yhden attribuutin arvon alueelle joutuneiden kohteiden etäisyyksien perusteella ja vastaavien objektien saman attribuutin arvojen perusteella:

x_{k}={\frac {\sum _{{i=1}}^{n}{k_{i}d(x,a_{i})^{2}}}{\sum _{{i =1}}^{n}{d(x,a_{i})^{2}}}}

missä on alueelle pudonnut objekti, on annetun kohteen attribuutin arvo , on uusi objekti ja on uuden objektin -: s attribuutti. $a_{i}$ $i$ $k_i$ $k$ $a_{i}$ $x$ $x_k$ $k$

Linkit

↑ S. Madeh Piryonesi, Tamer E. El-Diraby. Data-analyysin rooli infrastruktuuriomaisuuden hallinnassa: Tietojen koko- ja laatuongelmien ratkaiseminen // Journal of Transportation Engineering, osa B: Jalkakäytävät. – 2020-06. — Voi. 146 , iss. 2 . — P. 04020022 . — ISSN 2573-5438 2573-5438, 2573-5438 . - doi : 10.1061/JPEODX.0000175 . Arkistoitu 12. huhtikuuta 2020.
↑ Hastie, Trevor. Tilastollisen oppimisen elementit: tiedon louhinta, päättely ja ennustaminen: 200 täysvärikuvalla . - New York: Springer, 2001. - xvi, 533 sivua s. - ISBN 0-387-95284-5 , 978-0-387-95284-0. Arkistoitu 9. elokuuta 2020 Wayback Machinessa

kNN ja Potential Energy (sovelma), EM Mirkes ja University of Leicester. Sovelman avulla voit verrata kahta luokitusmenetelmää.
Daniel T. Larose, Tiedon löytäminen datasta: Johdanto tiedon louhintaan

Koneoppiminen ja tiedon louhinta
Tehtävät	Luokittelu ongelma Oppiminen ilman opettajaa Opettajan avustama oppiminen Taantumisanalyysi AutoML Yhdistyksen säännöt Ominaisuuksien erottaminen Ominaisuuksien koulutus Ranking koulutus Kieliopillinen johtaminen Verkko-oppiminen
Opettajan kanssa oppimista	k-lähimmän naapurin menetelmä Naiivi Bayesin luokitin päätöspuu Tuki vektorikonetta Lineaarinen regressio Logistinen regressio perceptron Mallien kokoonpanot Pussittaminen tehostaa satunnainen metsä Asiaankuuluva vektorimenetelmä
ryhmäanalyysi	k-keinomenetelmä Sumea klusterointimenetelmä Hierarkkinen klusterointi EM-algoritmi KOIVU PARANTAA DBSCAN OPTIIKKA Keskimääräinen siirto
Mittasuhteiden vähentäminen	Tekijäanalyysi Pääkomponenttimenetelmä CCA ICA LDA Ei-negatiivinen matriisin laajennus t-SNE
Rakenteellinen ennustaminen	Graafinen todennäköisyysmalli Bayesin verkko Piilotettu Markovin malli CRF
Anomalian havaitseminen	k-lähimmän naapurin menetelmä Paikallinen päästötaso
Piirrä todennäköisyysmallit	Bayesin verkko Markovin verkko Piilotettu Markovin malli
Neuroverkot	Rajoitettu Boltzmann-kone itseorganisoituva kartta Aktivointitoiminto Sigmoidi softmax Radiaalinen kantafunktio Takaisin lisäysmenetelmä Syväoppiminen Monikerroksinen perceptroni Toistuva neuroverkko pitkä lyhytaikainen muisti Hallittu toistuva esto Konvoluutiohermoverkko U-verkko Autoenkooderi
Vahvistusoppiminen	Markovin prosessi Bellmanin yhtälö Ahne algoritmi Q-oppiminen SARSA Aikaero (TD)
Teoria	Vapnik-Chervonenkis teoria Bias-dispersion dilemma Laskennallinen oppimisteoria Empiirinen riskin minimointi Occam oppii PAC-oppiminen Tilastollinen oppimisteoria
Lehdet ja konferenssit	NeurIPS ICML ML JMLR ArXiv:cs.LG