MNIST (tietokanta)

Kokeneet kirjoittajat eivät ole vielä tarkistaneet sivun nykyistä versiota, ja se voi poiketa merkittävästi 14. tammikuuta 2019 tarkistetusta versiosta . tarkastukset vaativat 9 muokkausta .

MNIST -tietokanta (lyhenne sanoista Modified National Institute of Standards and Technology ) on suuri käsinkirjoitettujen numeronäytteiden tietokanta. Tietokanta on US National Institute of Standards and Technology -instituutin ehdottama standardi , jonka tarkoituksena on kalibroida ja vertailla kuvantunnistusmenetelmiä pääasiassa hermoverkkoihin perustuvan koneoppimisen avulla [1] [2] . Aineisto koostuu esivalmistetuista esimerkkikuvista, joiden pohjalta suoritetaan koulutusta ja järjestelmien testausta [3] [4] . Tietokanta luotiin alkuperäisen NIST 20x20 pikselin mustavalkomallisarjan uudelleentyöstön jälkeen . NIST-tietokannan luojat puolestaan ​​käyttivät joukkoa US Census Bureaun näytteitä , joihin lisättiin lisää amerikkalaisten yliopistojen opiskelijoiden kirjoittamia testinäytteitä [5] . NIST-sarjan näytteet normalisoitiin, antialiasoitiin ja pienennettiin 28 x 28 pikselin harmaasävykuvaksi [5] .

MNIST-tietokanta sisältää 60 000 kuvaa koulutukseen ja 10 000 kuvaa testaukseen [6] . Puolet koulutus- ja testausnäytteistä oli NIST-harjoitussarjasta ja toinen puoli oli NIST-testauspakkauksesta [7] .

MNIST-tietokannan harjoittamisen jälkeen on yritetty saavuttaa mahdollisimman vähän virheitä, ja niistä on keskusteltu tieteellisessä kirjallisuudessa. Ennätystuloksia esitettiin konvoluutiohermoverkkojen käyttöä koskevissa julkaisuissa , virheprosentti nostettiin 0,23 %:iin [8] . Tietokannan luojat itse tarjosivat useita testausmenetelmiä [5] . Alkuperäinen työ osoittaa, että tukivektorikoneella voidaan saavuttaa 0,8 %:n virhetaso [9] .

Tuloksen laatu ja lähestymistapojen kehitys

Joissakin teoksissa on havaittu korkeita tuloksia useiden hermoverkkojen ryhmille rakennetuista järjestelmistä; samalla MNIST-kannan numerotunnistuksen laatu osoittautuu ihmisen tasoa vastaavaksi ja muissa tunnistustehtävissä, erityisesti liikennemerkkien osalta, jopa kaksi kertaa parempi [8] .

Tekijöiden alkuperäisillä sivuilla [5] havaitaan 12 %:n virheitä käytettäessä yksinkertaisia ​​lineaarisia luokittimia ilman esikäsittelyä [9] .

Vuonna 2004 Rosenblattin kolmikerroksista perceptronia käyttävä LIRA-järjestelmä saavutti 0,42 %:n virheprosentin [10] .

MNIST-järjestelmän mukaisesta oppimisesta tehtiin tutkimus satunnaisia ​​vääristymiä käyttäen. Affiinit tai elastiset muunnokset otettiin käyttöön vääristyminä [5] . Joskus tällaiset järjestelmät saavuttivat hyviä tuloksia, erityisesti 0,39 prosentin virhetasosta on julkaisuja [11] .

Vuonna 2011 hermoverkkojen avulla saavutettiin 0,27 prosentin virhetaso [12] . Vuonna 2013 ilmestyi julkaisuja 0,21 %:n virheen saavuttamisesta hermoverkkojen regularisoinnilla ( DropConnect -yhteyskatkojen kautta ) [13] .

Myöhemmin yhden konvoluutiohermoverkon käyttö mahdollisti laadun parantamisen 0,31 %:n virhetasolle [14] . Parhaan tuloksen yhdellä konvoluutiohermoverkolla osoitti 74 harjoitusjakson jälkeen saatu järjestelmä - 0,27 % [15] . Viiden konvoluutiohermoverkon kokonaisuus mahdollisti kuitenkin 0,21 %:n virhesuhteen [16] [17] . Vuonna 2018 Random Multimodel Deep Learning (RMDL) -tutkijat raportoivat 0,18 prosentin virheestä, mikä parantaa aiempaa parasta tulosta: uusi kokonaisuus, syväoppimismenetelmä luokitteluun [18] .

Järjestelmien vertailu

Taulukko sisältää esimerkkejä koneoppimisen tuloksista erilaisissa kuvien luokitusjärjestelmissä: [19]

Tyyppi Rakenne vääristymä Esikäsittely Virhe (%)
Lineaarinen luokitin Yksitasoinen perceptroni Ei Ei 12 [8]
Lineaarinen luokitin Pariittainen lineaarinen luokitin Ei linjaus 7.6 [9]
k lähimmän naapurin menetelmä K-NN epälineaarisella muodonmuutoksella (P2DHMDM) Ei siirrettävät reunat 0,52 [20]
gradientin tehostaminen Haar-ominaisuuksiin perustuva jäännöskäsittely Ei Haarin merkkejä 0,87 [21]
Epälineaarinen luokitin 40 PCA + neliöllinen luokitin Ei Ei 3.3 [9]
Tuki vektorikonetta Virtual Support Vector System , deg-9 poly, 2-pikseliä värinää Ei linjaus 0,56 [22]
Neuroverkko 2-tasoinen verkko 784-800-10 Ei Ei 1,6 [23]
Neuroverkko 2-tasoinen verkko 784-800-10 Elastiset muodonmuutokset Ei 0,7 [23]
Syvä hermoverkko 6-kerroksinen verkko 784-2500-2000-1500-1000-500-10 Elastiset muodonmuutokset Ei 0,35 [24]
Konvoluutiohermoverkko 6-kerroksinen verkko 784-40-80-500-1000-2000-10 Ei Tietolaajennus koulutusta varten 0,31 [14]
Konvoluutiohermoverkko 6-kerroksinen verkko 784-50-100-500-1000-10-10 Ei Tietolaajennus koulutusta varten 0,27 [15]
Konvoluutiohermoverkko 35 CNN-verkon kokonaisuus, 1-20-P-40-P-150-10 Elastiset muodonmuutokset Normalisoinnin kanssa 0,23 [8]
Konvoluutiohermoverkko 5 CNN-verkon kokonaisuus, 6 tasoa 784-50-100-500-1000-10-10 Ei Tietolaajennus koulutusta varten 0,21 [16]
Random Multi-Model Deep Learning (RMDL) 30 satunnaista syväoppimismallia (RDL) (10 CNN:tä, 10 RNN:tä ja 10 DNN:tä) Ei Ei 0,18 [18]

Katso myös

Muistiinpanot

  1. ↑ Tuki vektorikoneiden nopeuskuviontunnistusta - Vision Systems Design . Vision Systems Design . Haettu: 17. elokuuta 2013.
  2. ↑ Gangaputra, Sachin Käsinkirjoitettu numerotietokanta . Haettu: 17. elokuuta 2013.
  3. ↑ Qiao, Yu MNIST-TIETOKANTA käsinkirjoitetuista numeroista (2007). Haettu: 18. elokuuta 2013.
  4. ↑ Platt, John C. Analyyttisen QP:n ja harvalukuisuuden käyttäminen tukivektorikoneiden koulutuksen nopeuttamiseen  //  Advances in Neural Information Processing Systems : Journal. - 1999. - P. 557-563 . Arkistoitu alkuperäisestä 4. maaliskuuta 2016.
  5. ↑ 1 2 3 4 5 LeCun, Yann MNIST käsinkirjoitettu numerotietokanta, Yann LeCun, Corinna Cortes ja Chris Burges . Haettu: 17. elokuuta 2013.
  6. ↑ Kussul, Ernst; Tatiana Baidyk. Parannettu menetelmä käsinkirjoitettujen numeroiden tunnistamiseen testattu MNIST-tietokannassa  //  Image and Vision Computing: Journal. - 2004. - Voi. 22 , ei. 12 . - s. 971-981 . - doi : 10.1016/j.imavis.2004.03.008 .
  7. ↑ Zhang, Bin; Sargur N. Srihari. Nopea k -Lähimmän naapurin luokittelu klusteripohjaisten puiden avulla  // IEEE-  tapahtumat kuvioanalyysistä ja koneälystä : päiväkirja. - 2004. - Voi. 26 , nro. 4 . - s. 525-528 . - doi : 10.1109/TPAMI.2004.1265868 . — PMID 15382657 .
  8. ↑ 1 2 3 4 Cires¸an, Dan; Ueli Meier; Jürgen Schmidhuber. Monisarakkeiset syvät neuroverkot kuvien luokitteluun  //  2012 IEEE Conference on Computer Vision and Pattern Recognition : Journal. - 2012. - S. 3642-3649 . — ISBN 978-1-4673-1228-8 . - doi : 10.1109/CVPR.2012.6248110 . - arXiv : 1202.2745 .
  9. ↑ 1 2 3 4 LeCun, Yann; Leon Bottou; Yoshua Bengio; Patrick Haffner. Gradienttipohjaista oppimista sovelletaan asiakirjan tunnistamiseen  //  Proceedings of the IEEE 86 : Journal. - 1998. - Voi. 86 , no. 11 . - P. 2278-2324 . - doi : 10.1109/5.726791 .
  10. ↑ Kussul, Ernst; Tatiana Baidyk. Parannettu menetelmä käsinkirjoitettujen numeroiden tunnistamiseen testattu MNIST-tietokannassa  //  Image and Vision Computing: Journal. - 2004. - Voi. 22 . - s. 971-981 . - doi : 10.1016/j.imavis.2004.03.008 . Arkistoitu alkuperäisestä 21. syyskuuta 2013.
  11. ↑ Ranzato, Marc'Aurelio; Christopher Poultney; Sumit Chopra; Yann LeCun. Harvaiden esitysten tehokas oppiminen energiapohjaisella mallilla  //  Advances in Neural Information Processing Systems : Journal. - 2006. - Voi. 19 . - s. 1137-1144 .
  12. ↑ Ciresan, Dan Claudiu; Ueli Meier; Luca Maria Gambardella; Jürgen Schmidhuber. Konvoluutiohermoverkkokomiteat käsinkirjoitettujen merkkien luokitteluun  (englanniksi)  // 2011 International Conference on Document Analysis and Recognition (ICDAR) : aikakauslehti. - 2011. - S. 1135-1139 . - doi : 10.1109/ICDAR.2011.229 . Arkistoitu alkuperäisestä 22. helmikuuta 2016.
  13. ↑ Wang, Li; Matthew Zeiler; Sixin Zhang; Yann LeCun; Rob Fergus (2013). Neuraaliverkon laillistaminen DropConnectilla . Kansainvälinen koneoppimiskonferenssi (ICML).
  14. ↑ 1 2 Romanuke, Vadim Yksittäinen konvoluutiohermoverkko, joka on paras suorituskyky 18 aikakauteen laajennetun harjoitustiedon perusteella Khmelnitskissä, Ukrainassa . Käyttöönottopäivä: 16.11.2016.
  15. ↑ 1 2 Romanuke, Vadim Parallel Computing Center (Hmelnitskiy, Ukraina) antaa yhden konvoluutiohermoverkon, joka toimii MNIST:ssä 0,27 prosentin virhetasolla. . Käyttöönottopäivä: 24.11.2016.
  16. ↑ 1 2 Romanuke, Vadim Parallel Computing Center (Hmelnitskiy, Ukraina) edustaa 5 konvoluutiohermoverkon kokonaisuutta, joka toimii MNIST:ssä 0,21 prosentin virhetasolla. . Käyttöönottopäivä: 24.11.2016.
  17. ↑ Romanuke, Vadim. Koulutusdatan laajentaminen ja konvoluutiohermoverkkojen tehostaminen MNIST-tietojoukon virhesuhteen vähentämiseksi  //  Research Bulletin of NTUU “Kyiv Polytechnic Institute” : Journal. - 2016. - Vol. 6 . - s. 29-34 . - doi : 10.20535/1810-0546.2016.6.84115 .
  18. ↑ 1 2 Kowsari, Kamran; Heidarysafa, Mojtaba; Brown, Donald E.; Meimandi, Kiana Jafari; Barnes, Laura E. RMDL: Random Multimodel Deep Learning for Classification (3. toukokuuta 2018). Haettu: 10.5.2018.
  19. ↑ Le Cunn, käsinkirjoitettujen numeroiden MNIST-TIETOKANTA
  20. ↑ Keysers, Daniel; Thomas Deselaers; Christian Golan; Hermann Ney. Muodonmuutosmallit kuvantunnistukseen  (määrittämätön)  // EEE Transactions on Pattern Analysis and Machine Intelligence. - 2007. - elokuu ( osa 29 , nro 8 ). - S. 1422-1435 .
  21. ↑ Kégl, Balázs; Robert Busa-Fekete. Perusluokittajien tuotteiden tehostaminen  (määrittämätön)  // Proceedings of the 26th Annual International Conference on Machine Learning. - 2009. - S. 497-504 .
  22. ↑ DeCoste ja Scholkopf, MLJ 2002
  23. ↑ 1 2 Patrice Y. Simard; Dave Steinkraus; John C. Platt. Visuaaliseen dokumenttianalyysiin sovelletut konvoluutiohermoverkkojen parhaat käytännöt  //  Document Analysis and Recognition, 2003. Proceedings. Seitsemäs kansainvälinen konferenssi aiheesta: Journal. - IEEE, 2003. - doi : 10.1109/ICDAR.2003.1227801 .
  24. ↑ Ciresan, Claudiu Dan; Dan, Ueli Meier, Luca Maria Gambardella ja Juergen Schmidhuber. Deep Big Simple Neural Nets Excel käsinkirjoitettujen numeroiden tunnistamisessa  //  Neural Computation : Journal. - 2010. - joulukuu ( osa 22 , nro 12 ). - doi : 10.1162/NECO_a_00052 . - arXiv : 1003.0358 .

Kirjallisuus

Linkit