Hermoprosessori

Neuroprosessori ( eng  . Neural Processing Unit , NPU tai AI - kiihdytin _ _ _ _ _ _ _ _ _ tunnistus , koneoppiminen ja muut tekoälyn menetelmät [1] .  

Kuvaus

Neuroprosessorit liittyvät tietojenkäsittelyyn ja niitä käytetään hermoverkkoemuloinnin laitteistokiihdyttämiseen ja reaaliaikaiseen digitaaliseen signaalinkäsittelyyn . Neuroprosessori sisältää pääsääntöisesti rekistereitä , push-pull- muistilohkoja , kytkimen ja kertomatriisin sisältävän laskentalaitteen , dekooderit , kiikut ja multiplekserit [ 2] .

Tässä vaiheessa (vuodesta 2017 alkaen) neuroprosessorien luokkaan voi kuulua erityyppisiä siruja, joilla on erilainen suunnittelu ja erikoistuminen , esimerkiksi:

• Neuromorfiset prosessorit  on rakennettu Cornellin yliopistossa kehitetylle asynkroniselle klusteriarkkitehtuurille (poikkeaa pohjimmiltaan IT -alalla viimeisten 70 vuoden aikana käytetyistä von Neumannin ja Harvardin tietokonearkkitehtuureista ). Toisin kuin perinteiset laskenta-arkkitehtuurit, neuromorfisten prosessorien logiikka on aluksi erittäin erikoistunut erilaisten keinotekoisten hermoverkkojen luomiseen ja kehittämiseen . Laite käyttää tavallisia transistoreja , joista laskentaytimet rakennetaan (jokainen ydin sisältää pääsääntöisesti tehtävien ajoittimen, oman SRAM -muistin ja reitittimen muiden ytimien kanssa kommunikointia varten), jokainen ydin emuloi useiden satojen työtä. hermosoluja ja siten integroitu piiri, joka sisältää useita tuhansia tällaisia ​​ytimiä, voi algoritmisesti luoda uudelleen useiden satojen tuhansien hermosolujen joukon ja suuruusluokkaa enemmän synapseja . Tällaisia ​​prosessoreita käytetään pääsääntöisesti syvään koneoppimisalgoritmeihin [3] .
• Tensoriprosessorit  - laitteet ovat pääsääntöisesti keskusprosessorin ohjaamia apuprosessoreita , jotka toimivat tensoreilla  - objektit, jotka kuvaavat yhden lineaarisen avaruuden elementtien muuntamista toiseksi ja voidaan esittää moniulotteisina lukutaulukoina [4] , joita käsitellään. käyttämällä tällaisia ​​ohjelmistokirjastoja , kuten esimerkiksi TensorFlow . Ne on yleensä varustettu omalla sisäänrakennetulla RAM -muistilla ja toimivat pienibittisten (8-bittisten) numeroiden kanssa, ja ne ovat erittäin erikoistuneet suorittamaan operaatioita, kuten matriisin kertolaskua ja konvoluutiota , joita käytetään emuloimaan konvoluutiohermoverkkoja , joita käytetään koneissa. oppimisongelmat [5] .
• Konenäköprosessorit  – Samanlaisia ​​monella tapaa kuin tensoriprosessorit, mutta ne ovat erittäin erikoistuneet nopeuttamaan konenäköalgoritmeja , jotka käyttävät konvoluutiohermoverkkoa (CNN) ja skaala-invarianttien ominaisuuksien muunnostekniikoita (SIFT). He painottavat paljon tietovirran rinnakkaisua useiden suoritusytimien välillä , mukaan lukien Scratchpad -mallin käyttö. - kuten moniytimisissä digitaalisissa signaaliprosessoreissa , ja niitä, kuten tensoriprosessoreja, käytetään laskelmiin alhaisella tarkkuudella, kuvankäsittelyssä [6] .

Historia

Sovellukset

• Miehittämätön ajoneuvo - esimerkiksi Drive PX-sarja  kehittää levyjään tähän suuntaanNvidia [ 7] [8] .
• Miehittämätön ilma - esimerkiksi Movidius Myriad 2 -siruihin  perustuva navigointijärjestelmähallitsee menestyksekkäästi itsenäisiä miehittämättömiä ilma-aluksia [9] .
• Diagnostiikka terveydenhuollossa .
• Konekäännös .
• Luonnollisen kielen käsittely .
• Hakukone  - NPU:t lisäävät datakeskusten energiatehokkuutta ja mahdollistavat yhä monimutkaisempia kyselyjä.
• Teollisuusrobotti  – NPU:t mahdollistavat automatisoitavien tehtävien laajentamisen lisäämällä mukautumiskykyä muuttuviin tilanteisiin.
• Äänentunnistus  - esimerkiksi matkapuhelimissa, joissa käytetään Qualcomm Zeroth -tekniikkaa[kymmenen]
• Maatalousrobotti  - esimerkiksi rikkakasvien torjunta ilman kemikaaleja [11] .

Esimerkkejä

Olemassa olevat tuotteet

• Konenäköprosessorit :
  • Intel Movidius Myriad 2, joka on moniytiminen AI-kiihdytin, joka perustuu VLIW -arkkitehtuuriin, jossa on lisätyt videonkäsittelyyn omistetut solmut [6] .
  • Mobileye EyeQon erikoistunut prosessori, joka nopeuttaa miehittämättömässä ajoneuvossa  käytettävien konenäköalgoritmien käsittelyä [12] .
• Tensoriprosessorit :
  • Google TPU ( eng.  Tensor Processing Unit ) - esitelty kiihdyttimenä Google TensorFlow -järjestelmälle , jota käytetään laajalti konvoluutiohermoverkoissa. Keskittynyt suureen määrään 8-bittistä tarkkuusaritmetiikkaa [5] .
  • Huawei Ascend 310 / Ascend 910 ovat kaksi ensimmäistä tekoälylle optimoitua piiriä Huawein Ascend-sarjasta [13] .
  • Intel Nervana NNP( eng.  Neural Network Processor ) on ensimmäinen kaupallisesti saatavilla oleva tensoriprosessori, joka on suunniteltu syväoppimisverkkojen rakentamiseen [14] , Facebook oli kumppani sen suunnitteluprosessissa [15] [16] .
  • Qualcomm Cloud AI 100 on tekoälyn kiihdytin, joka on suunniteltu käytettäväksi osana pilvialustoja, jotka tukevat PyTorch- , Glow- , TensorFlow- , Keras- ja ONNX-ohjelmistokirjastoja [17] .
• Neuromorfiset prosessorit :
  • IBM TrueNorth on neuromorfinen prosessori, joka on rakennettu hermosolujen  välisen vuorovaikutuksen periaatteelle perinteisen aritmeettisen sijaan. Pulssitaajuus edustaa signaalin voimakkuutta. Vuodesta 2016 lähtien tekoälytutkijat eivät ole olleet yksimielisiä siitä, onko tämä oikea tapa edetä [18] , mutta jotkut tulokset ovat lupaavia, sillä konenäkötehtävissä on havaittu suuria energiansäästöjä [19] .
• Adapteva loppiainen - suunniteltu apuprosessoriksi, sisältää muistilehtiömuistimallin verkkoja sirulla, lähestyy tietovirran ohjelmointimallia, jonka pitäisi sopia moniin koneoppimisongelmiin.
• ComBox x64 Movidius PCIe Blade -kortti - PCI Express -laajennuskortti VPU:n maksimitiheydellä Intel Movidius (MyriadX) erittäin tarkkojen hermoverkkojen päättelemiseen palvelinkeskuksessa
• CambriconMLU100 on 64 TFLOPS:n puolitarkkuus AI-prosessori PCI Express -laajennuskortti tai 128 TOPS INT8-laskelmia varten [20] .
• Cerebras Wafer Scale Engine (WSE, CS-1) - Cerebrasin kokeellinen superprosessori , joka sisältää 1,2 biljoonaa transistoria , jotka on järjestetty 400 000 tekoälylle optimoituun laskentaytimeen ja 18 Gt paikallisesti hajautettua SRAM -muistia , jotka kaikki on yhdistetty mesh-verkolla, jonka kokonaissuorituskyky on 100 petabittiä sekunnissa . Cerebras-siru on itse asiassa supertietokone sirulla, jossa SLAC (Sparse Linear Algebra Cores) -laskentaytimet ovat täysin ohjelmoitavia ja ne voidaan optimoida toimimaan minkä tahansa hermoverkon kanssa [21] .
• KnuPath - KnuEdge-prosessori, suunniteltu toimimaan puheentunnistusjärjestelmissä ja muilla koneoppimisen osa-alueilla, se käyttää LambdaFabric-liitintekniikkaa ja mahdollistaa jopa 512 000 prosessorin yhdistämisen yhdeksi järjestelmäksi [22] .

GPU- tuotteet

• Nvidia Tesla  on sarja omistettuja Nvidian GPGPU - tuotteita [23] :
  • Nvidia Volta -
  Nvidian Volta-arkkitehtuurin (2017) grafiikkaprosessorit ( kuten Volta GV100) sisältävät jopa 640 erikoisydintä tensorilaskentaa varten [1] .
• Nvidia Turing - Nvidian Turing-arkkitehtuurin GPU:t (2018) (kuten Nvidia TU104) sisältävät jopa 576 erikoisydintä tensorilaskentaa varten [24] .
• Nvidia DGX-1 - erikoispalvelin , joka koostuu 2 keskusprosessorista ja 8 Nvidia Volta GV100 GPU: sta(5120 tensoriydintä) kytketty nopean NVLink -väylän kautta [25] . Omistettu muistiarkkitehtuuritämä järjestelmä soveltuu erityisen hyvin syväoppimisverkostojen rakentamiseen [26] [27] .

Tekoälykiihdyttimet sisäisten apuprosessorien muodossa (AI-laitteistoyksiköt)

• Cambricon-1A on Cambricon Technologiesin kehittämä NPU-lohko Huawei Kirin 970 ARM -siruissa .[30] .
• CEVANeuPro on CEVA, Inc :n lisensoitujen syväoppivien tekoälyprosessorien perhe.[31] .
• Neural Engine  on AI-kiihdytin Applen A11 Bionic- ja A12 Bionic SoC ARM -sirujen sisällä [32] .
• PowerVR 2NX NNA (Neural Network Accelerator) on lisensoitujen IP-moduulien perhe Imagination Technologiesin koneoppimiseen [33] .

Tutkimus- ja kehitystuotteet

• Indian Institute of Technology Madraskehittää impulssihermosoluihin perustuvaa kiihdytintä uusille RISC-V- arkkitehtuurijärjestelmille, joiden tarkoituksena on käsitellä suurdataa palvelinjärjestelmissä [34] .
• silmänympärys - kehitys keskittyi konvoluutiohermoverkkoihin käyttämällä kannettavan tietokoneen muistia ja verkkoarkkitehtuuria kristallin sisällä.
• Fujitsu DLUon Fujitsun  monilohko- ja moniytiminen apuprosessori, joka käyttää matalan tarkkuuden laskelmia ja on suunniteltu syvään koneoppimiseen [35] .
• Intel Loihion Intelin  neuromorfinen prosessori , joka yhdistää oppimisen, harjoittelun ja päätöksenteon yhdellä sirulla, mikä mahdollistaa järjestelmän olevan autonominen ja "älykäs" ilman, että se on yhdistetty pilveen . Esimerkiksi MNIST-tietokannan (Mixed National Institute of Standards and Technology) kanssa harjoitettaessa Loihi-prosessori on miljoona kertaa parempi kuin muut tyypilliset piikkihermoverkot [36] .
• Kalray - näytti MPPA[37] ja raportoi konvoluutiohermoverkkojen tehokkuuden lisääntymisestä GPU :ihin verrattuna .
• SpiNNaker  on massiivisesti rinnakkainen laskenta-arkkitehtuuri, joka yhdistää perinteisen ARM-arkkitehtuurin ytimet edistyneeseen verkkokehykseen, joka on erikoistunut suurten hermoverkkojen simulointiin.
• Zeroth NPU on Qualcommin kehittämä tuote, jonka tavoitteena on tuoda puheen ja kuvan tunnistusominaisuudet mobiililaitteisiin [38] .
• IVA TPU on venäläisen IVA Technologiesin kehittämä tensoriprosessori [39] [40] . Lokakuussa 2020 tulokset [41] [42] IVA TPU -hermoverkkokiihdytin arkkitehtuurin testauksesta, jonka suoritti kansainvälinen konsortio MLPerf (perustaja vuonna 2018 Baidu , Google , Harvard University , Stanford University , University of California, Berkeley ) julkaistiin.

Muistiinpanot

1. ↑ 1 2 Koneoppimisen suosio vaikuttaa prosessoriarkkitehtuurin kehitykseen . palvelinuutiset. (31. elokuuta 2017). Haettu 17. marraskuuta 2017. Arkistoitu alkuperäisestä 17. marraskuuta 2017. (määrätön)
2. ↑ Neuroprosessori, laite kyllästysfunktioiden laskemiseen, laskentalaite ja summain . FindPatent.RU. Haettu 17. marraskuuta 2017. Arkistoitu alkuperäisestä 1. joulukuuta 2017. (Venäjän kieli)
3. ↑ IBM toimitti LLNL:lle TrueNorth-hermoprosessorit miljoonalla dollarilla . Computerra . (31. maaliskuuta 2016). Haettu 17. marraskuuta 2017. Arkistoitu alkuperäisestä 19. marraskuuta 2017. (Venäjän kieli)
4. ↑ Intel kehittää tensoriprosessoreja tekoälylle . PC-viikko /RE. (22. marraskuuta 2016). Haettu 17. marraskuuta 2017. Arkistoitu alkuperäisestä 1. joulukuuta 2017. (Venäjän kieli)
5. ↑ 1 2 Googlen TPU Tensor Coprosessorin tiedot . palvelinuutiset. (25. elokuuta 2017). Haettu 17. marraskuuta 2017. Arkistoitu alkuperäisestä 17. marraskuuta 2017. (Venäjän kieli)
6. ↑ 1 2 Intel julkisti Movidius Myriad X Vision -prosessorin . 3DNews . (29. elokuuta 2017). Haettu 17. marraskuuta 2017. Arkistoitu alkuperäisestä 17. marraskuuta 2017. (Venäjän kieli)
7. ↑ Nvidia Drive PX: Skaalautuva AI-supertietokone autonomiseen ajamiseen . Nvidia . Haettu 17. marraskuuta 2017. Arkistoitu alkuperäisestä 16. heinäkuuta 2016.  (määrätön)  (Englanti)
8. ↑ NVIDIA esittelee Drive PX Pegasuksen, seuraavan sukupolven autopilottialustan . 3DNews (10. lokakuuta 2017). Haettu 17. marraskuuta 2017. Arkistoitu alkuperäisestä 17. marraskuuta 2017.  (määrätön)  (Venäjän kieli)
9. ↑ Movidius käyttää maailman älykkäimpää dronea . Käyttöpäivä: 15. marraskuuta 2017. Arkistoitu alkuperäisestä 9. elokuuta 2016.  (määrätön)  (Englanti)
10. ↑ Qualcomm Research tuo palvelinluokan koneoppimisen jokapäiväisiin laitteisiin . Haettu 15. marraskuuta 2017. Arkistoitu alkuperäisestä 8. elokuuta 2016.  (määrätön)  (Englanti)
11. ↑ Konenäköjärjestelmän suunnittelu rikkaruohojen torjuntaan (pääsemätön linkki) . Haettu 15. marraskuuta 2017. Arkistoitu alkuperäisestä 23. kesäkuuta 2010.  (määrätön)   (Englanti)
12. ↑ EyeQ:n kehitys . Haettu 18. marraskuuta 2017. Arkistoitu alkuperäisestä 7. joulukuuta 2017. (määrätön)
13. ↑ Huawei loi maailman ensimmäiset tekoälyprosessorit seuraten Elbrus-kehittäjien CNewsin polkua  (23.10.2018). Arkistoitu alkuperäisestä 23. lokakuuta 2018. Haettu 24.10.2018.
14. ↑ Ennen vuoden loppua Intel julkaisee "alan ensimmäisen sirun hermoverkkojen käsittelyyn" - Intel Nervana Neural Network Processorin . iXBT.com (18. lokakuuta 2017). Haettu 21. marraskuuta 2017. Arkistoitu alkuperäisestä 15. marraskuuta 2017. (Venäjän kieli)
15. ↑ Intel julkistaa tarkoitukseen rakennetun neuroverkkoprosessorin syvään oppimiseen , Tech Report (17. lokakuuta 2017). Arkistoitu alkuperäisestä 24. marraskuuta 2017. Haettu 17.11.2017.
16. ↑ Intel Nervana Neural Network Processors (NNP) määrittelee AI Siliconin uudelleen  (17. lokakuuta 2017). Arkistoitu alkuperäisestä 20. lokakuuta 2017. Haettu 17.11.2017.
17. ↑ Qualcomm esitteli Cloud AI 100 -tekoälykiihdytin , Servernews.ru  (10. huhtikuuta 2019). Arkistoitu alkuperäisestä 10. huhtikuuta 2019. Haettu 16. huhtikuuta 2019.
18. ↑ Jan LeKun IBM TrueNorthissa . Haettu 15. marraskuuta 2017. Arkistoitu alkuperäisestä 5. heinäkuuta 2015.  (määrätön)  (Englanti)
19. ↑ IBM avaa neuromorfisen laskennan uuden aikakauden . - "TrueNorth on uskomattoman tehokas: siru kuluttaa vain 72 milliwattia maksimikuormalla, mikä vastaa noin 400 miljardia synaptista toimintoa sekunnissa wattia kohden - eli noin 176 000 kertaa tehokkaampi kuin nykyaikainen suoritin, joka käyttää samaa aivokuormaa tai 769 kertaa tehokkaampi kuin muut huippuluokan neuromorfiset lähestymistavat". Haettu 15. marraskuuta 2017. Arkistoitu alkuperäisestä 9. heinäkuuta 2016.  (määrätön)  (Englanti)
20. ↑ Kiinalainen yritys Cambricon kehittää tekoälysiruja datakeskuksiin. (linkki ei saatavilla) . Haettu 15. kesäkuuta 2018. Arkistoitu alkuperäisestä 16. kesäkuuta 2018. (määrätön) 
21. ↑ Cerebras on uskomattoman kokoinen ja tehokas tekoälyprosessori . 3DNews . (20. elokuuta 2019). Haettu 21. elokuuta 2019. Arkistoitu alkuperäisestä 20. elokuuta 2019. (määrätön)
22. ↑ KnuPath on sotilasluokan neuromorfinen prosessori . 3DNews . (9. kesäkuuta 2016). Haettu 17. marraskuuta 2017. Arkistoitu alkuperäisestä 17. marraskuuta 2017. (määrätön)
23. ↑ Computex: Nvidian johtaja ei näe Googlen tensoriprosessorissa uhkaa . " Avoimet järjestelmät ". (1. kesäkuuta 2016). Haettu 17. marraskuuta 2017. Arkistoitu alkuperäisestä 1. joulukuuta 2017. (määrätön)
24. ↑ Mitä uusi NVIDIA Turing -arkkitehtuuri tuo markkinoille? . 3DNews. (14.08.2018). Haettu 17. elokuuta 2018. Arkistoitu alkuperäisestä 23. maaliskuuta 2019. (määrätön)
25. ↑ NVIDIA Voltan aikakausi alkoi Tesla V100 -kiihdyttimellä . palvelinuutiset. (11. toukokuuta 2017). Haettu 17. marraskuuta 2017. Arkistoitu alkuperäisestä 1. joulukuuta 2017. (määrätön)
26. ↑ GTC Europe 2017: NVIDIA TensorRT 3 -kirjasto nopeuttaa neuroverkkoja 18 kertaa yleiseen ratkaisuun verrattuna . palvelinuutiset. (12. lokakuuta 2017). Haettu 17. marraskuuta 2017. Arkistoitu alkuperäisestä 17. marraskuuta 2017. (määrätön)
27. ↑ Uusi venäläinen supertietokone, joka on suunniteltu kouluttamaan neuroverkkoja . palvelinuutiset. (1. syyskuuta 2017). Haettu 17. marraskuuta 2017. Arkistoitu alkuperäisestä 17. marraskuuta 2017. (määrätön)
28. ↑ AMD julkisti Radeon Instinct: GPU Accelerators for Deep Learning, tulossa vuonna 2017 , Anandtech (12. joulukuuta 2016). Arkistoitu alkuperäisestä 12. joulukuuta 2016. Haettu 12. joulukuuta 2016.
29. ↑ Radeon Instinct Machine Learning -grafiikkasuorittimiin kuuluvat Vega, Preview Performance ja PC Per (12. joulukuuta 2016). Arkistoitu alkuperäisestä 11. elokuuta 2017. Haettu 12. joulukuuta 2016.
30. ↑ Huawei paljastaa mobiilin tekoälyn tulevaisuuden IFA 2017 -messuilla . Haettu 15. kesäkuuta 2018. Arkistoitu alkuperäisestä 16. kesäkuuta 2018. (määrätön)
31. ↑ CEVA NeuPro. Tekoälyprosessorien perhe syvään oppimiseen huipputasolla. . Haettu 15. kesäkuuta 2018. Arkistoitu alkuperäisestä 16. kesäkuuta 2018. (määrätön)
32. ↑ iPhone X:n uusi hermomoottori on esimerkki Applen lähestymistavasta tekoälyyn , The Verge  (13.9.2017). Arkistoitu alkuperäisestä 15. syyskuuta 2017. Haettu 17.11.2017.
33. ↑ Imagination julkistaa uudet PowerVR 2NX AI Accelerators , 3DNews  (8. kesäkuuta 2018). Arkistoitu alkuperäisestä 16. kesäkuuta 2018. Haettu 15. kesäkuuta 2018.
34. ↑ Intia valmistelee RISC-V-prosessoreja - Shakti kohdistuu palvelimiin, IoT:hen, analytiikkaan (downlink) . - "Shakti-projekti sisältää nyt suunnitelmat vähintään kuudelle mikroprosessorimallille sekä niihin liittyville kankaille ja kiihdytinsirun." Haettu 15. marraskuuta 2017. Arkistoitu alkuperäisestä 3. heinäkuuta 2017.  (määrätön)   (Englanti)
35. ↑ Fujitsu kehittää mukautetun prosessorin tekoälyjärjestelmille . palvelinuutiset. (24. heinäkuuta 2017). Haettu 17. marraskuuta 2017. Arkistoitu alkuperäisestä 17. marraskuuta 2017. (määrätön)
36. ↑ Intel julkisti Loihin neuromorfisen prosessorin . 3DNews . (26. syyskuuta 2017). Haettu 17. marraskuuta 2017. Arkistoitu alkuperäisestä 17. marraskuuta 2017. (määrätön)
37. ↑ Kalray MPPA . Haettu 15. marraskuuta 2017. Arkistoitu alkuperäisestä 23. huhtikuuta 2016.  (määrätön)  (Englanti)
38. ↑ Qualcomm näytti Zeroth - neuroprosessorin . Logmag.net (16. lokakuuta 2013). Haettu 17. marraskuuta 2017. Arkistoitu alkuperäisestä 17. marraskuuta 2017. (määrätön)
39. ↑ sulautettu maailma. IVA TPU – DNN-päätelmäkiihdytin // NeuroMatrix Architecture for Neural Network Applications | sulautettu  maailma . www.embedded-world.de _ Haettu 30. marraskuuta 2020. Arkistoitu alkuperäisestä 21. tammikuuta 2021.
40. ↑ Venäjälle on luotu alkuperäinen prosessoriarkkitehtuuri, joka voi puristaa NVidian . cnews.ru . Haettu 30. marraskuuta 2020. Arkistoitu alkuperäisestä 25. marraskuuta 2020. (määrätön)
41. ↑ Päättelytulokset  . _ MLPerf . Haettu 30. marraskuuta 2020. Arkistoitu alkuperäisestä 28. marraskuuta 2020.
42. ↑ Sally Ward-Foxton. Koneoppimisen vertailukohta laajentaa tukea reuna-, datakeskusten   työkuormille ? . Embedded.com (3.11.2020). Haettu 30. marraskuuta 2020. Arkistoitu alkuperäisestä 25. marraskuuta 2020.  (määrätön)

Linkit

• Koneoppimisen suosio vaikuttaa prosessoriarkkitehtuurin kehitykseen . palvelinuutiset. (31. elokuuta 2017). Käyttöönottopäivä: 17.11.2017. (Venäjän kieli)