QsNet

QsNet - viestintäympäristö Quadricsilta _, joka tarjoaa viiveitä SCI -tasolla ja suorituskyvyn jopa 900 MB / s (QsNet II). Korkean laitehinnan vuoksi QsNetiä käytetään yleensä erityisen suurten teraflop - klustereiden rakentamiseen .

QsNet koostuu kahdesta laitteiston rakennuspalikoista: Elan-ohjelmoitavasta verkkorajapinnasta ja Elite-suurkaistanleveydestä, matalan latenssin tietoliikennekytkimestä. Elite - kytkimet voidaan liittää toisiinsa Fat Tree - topologiassa . Mitä tulee ohjelmistoihin, QsNet tarjoaa useita tietoliikennekirjastoja, jotka tarjoavat kompromissin suorituskyvyn ja helppokäyttöisyyden välillä. QsNet yhdistää nämä laitteisto- ja ohjelmistokomponentit tehokkaan ja turvallisen pääsyn maailmanlaajuiseen virtuaalimuistiin DMA - etätoimintojen avulla.(DMA). Se myös parantaa verkon joustavuutta linkki- ja päästä päähän -protokollien avulla, jotka havaitsevat viat ja lähettävät automaattisesti uudelleen paketteja.

Elan

Elan-verkkoliitäntä yhdistää Quadrics-verkon prosessointisolmuun, joka sisältää yhden tai useamman prosessorin . Sen lisäksi, että Elan tuottaa ja vastaanottaa paketteja verkkoon ja sieltä, Elan tarjoaa merkittävää paikallista prosessointitehoa korkean tason viestintäprotokollien, kuten MPI ( Message Passing Interface) -protokollien, toteuttamiseen . Elanin sisäinen toiminnallinen rakenne on keskittynyt kahden pääprosessoriprosessorin ympärille: mikrokoodiprosessorin ja säieprosessorin. 32-bittinen mikrokoodiprosessori tukee neljää laitteistosäiettä. Jokainen säie voi itsenäisesti lähettää liukuhihnamuotoisia muistipyyntöjä muistijärjestelmälle. Jopa kahdeksan kyselyä voidaan suorittaa kerrallaan. Mikrokoodiprosessorin ajoittaminen sallii säietyn herätä, ajastaa uuden muistin käytön edellisen muistin käytön tuloksen perusteella ja palata nukkumaan vain kahdessa järjestelmäkellossa.

Neljä mikrokoodivirtaa on omistettu

• syöttölohko, joka käsittelee syötetapahtumia verkosta;
• DMA - moottori , joka luo DMA-paketteja verkkoon kirjoittamista varten, priorisoi erinomaiset DMA-siirrot ja suurten DMA:iden aikavälit pienten DMA:iden haitallisen eston estämiseksi;
• prosessorin ajoitus, joka priorisoi ja ohjaa säieprosessorin ajoitusta;
• komentokäsittely, joka käsittelee pyydetyt toiminnot (komennot) isäntäprosessorilta käyttäjätasolla.

Virtaussuoritin on 32-bittinen RISC-prosessori , joka auttaa toteuttamaan korkeamman tason viestintäkirjastoja ilman pääprosessorin nimenomaista puuttumista asiaan. Tätä varten QsNet laajentaa käskyjoukkoa lisäohjeilla, jotka auttavat luomaan verkkopaketteja, hallitsemaan tapahtumia, ajoittamaan säikeitä tehokkaasti ja estämään säikeen tilan tallennuksen ja palauttamisen ajoituksen aikana.

Muistinhallintayksikkö (MMU) muuntaa 32-bittiset virtuaaliosoitteet joko 28-bittisiksi SDRAM -paikallisiksi fyysisiksi osoitteiksi tai 48-bittisiksi PCI-osoitteiksi ( Peripheral Component Interconnect ). Näiden osoitteiden kääntämiseksi MMU sisältää täysin assosiatiivisen assosiatiivisen käännöspuskurin, jossa on 16 merkintää, käyttökoneen ja tilakoneen , joka kulkee sivutaulukon läpi puskurin täyttämiseksi ja tietojen tallentamiseksi MMU:n kaatuessa.

Elan sisältää reititystaulukoita , jotka kääntävät jokaisen virtuaalisen prosessorin numeron tunnistesarjaksi, joka määrittelee verkkoreitin. Järjestelmäohjelmisto voi ladata useita reititystaulukoita tarjotakseen erilaisia ​​reititysstrategioita.

Elanilla on 8 kt:n välimuisti (joka on järjestetty neljään 2 kt:n sarjaan) ja 64 Mt SDRAM -muistia . Välimuistin rivin koko on 32 tavua. Välimuisti suorittaa liukuhihnan täyttöjä SDRAM -muistista ja voi suorittaa useita välimuistin täyttöjä ja takaisinkirjoituksia eri lohkoille samalla kun se palvelee välimuistissa olevien lohkojen pääsyä. SDRAM-liitäntä on 64 bittiä pitkä, ja siihen on lisätty kahdeksan tarkistusbittiä virheenkorjauskoodin saamiseksi. Muistirajapinta sisältää myös 32-tavuisia luku- ja kirjoituspuskureita.

Logiikkalinkki lähettää ja vastaanottaa dataa verkosta ja tuottaa 9 bittiä ja kellosignaalin joka puoli kellojaksoa. Jokainen linkki tarjoaa puskuritilaa kahdelle virtuaalikanavalle, joissa on 128 sisäänmenoa 16-bittistä FIFO - RAM -muistia vuon ohjaamista varten.

Elite

Elite tarjoaa

• kahdeksan kaksisuuntaista kanavaa, jotka tukevat kahta virtuaalista kanavaa kumpaankin suuntaan,
• sisäinen 16 × 8 täysmatriisikytkin (kytkimessä on kaksi tuloporttia kutakin tulokanavaa varten kahden virtuaalisen kanavan vastaanottamiseksi),
• nimellinen siirtokapasiteetti 400 Mbps kanavan kumpaankin suuntaan ja virtausviive 35 ns,
• pakettivirheiden havaitseminen ja palauttaminen käyttämällä turvallista syklistä redundanssireititystä ja datatapahtumia,
• kaksi prioriteettitasoa yhdistettynä ikääntymismekanismiin pakettien oikeudenmukaisen toimituksen varmistamiseksi samalla prioriteettitasolla,
• laitteistotuki lähetyksille,
• mukautuva reititys .

QsNet yhdistää Elite - kytkimet nelipaksuun puutopologiaan . Nelinkertainen paksuuspuu koostuu käsittelysolmuista ja kytkimistä, jotka on kytketty toisiinsa delta-verkon muodossa; se voidaan rakentaa rekursiivisesti yhdistämällä neljä nelinkertaista paksuuntunutta puuta .

Paketin reititys

Elite-verkot on lähdereititetty. Elan -verkkoliitäntä , joka sijaitsee verkkosolmussa, liittää reititystiedot paketin otsikkoon ennen kuin paketti tulee verkkoon. Reittitiedot ovat Elite-linkkitunnisteiden sarja. Kun paketti kulkee verkon sisällä, jokainen Elite-kytkin poistaa ensimmäisen reittitunnisteen otsikosta ja välittää paketin reitin tai lopullisen määränpään seuraavaan kytkimeen. Reititystunniste voi tunnistaa joko yhden lähtölinkin tai linkkiryhmän.

Elan-rajapinta välittää jokaisen verkon paketin madonreiän virtauksen ohjauksen avulla . Linkitasolla Elan-rajapinta jakaa jokaisen paketin pienempiin 16-bittisiin lohkoihin. Jokainen paketti suljetaan paketin loppu-tokenilla, mutta alkuperäinen Elan lähettää yleensä paketin loppu-tokenin vasta saatuaan paketin vahvistustunnuksen. Tämä prosessi tarkoittaa, että jokainen pakettilähetys luo virtuaalisen piirin lähteen ja kohteen välille.

Verkkosolmut voivat lähettää paketteja useisiin kohteisiin käyttämällä verkon yleislähetyskykyä. Jotta lähetyspaketti voidaan toimittaa onnistuneesti, lähdesolmun on saatava positiivinen kuittaus kaikilta yleislähetysryhmän vastaanottajilta. Kaikki verkkoon liitetyt Elan-liitännät voivat vastaanottaa yleislähetyspaketteja, mutta haluttaessa lähettäjä voi rajoittaa lähetyssanomien joukon fyysisesti vierekkäisten Elanien osajoukkoon.

Globaali virtuaalimuisti

Elan voi siirtää tietoa suoraan yhteistyössä toimivien prosessiryhmien osoiteavaruuksien välillä ja samalla ylläpitää laitteistoturvallisuutta näiden prosessiryhmien välillä. Tämä ominaisuus - jota kutsutaan virtuaalitoiminnaksi - on monimutkainen laajennus perinteiselle virtuaalimuistimekanismille, joka perustuu kahteen käsitteeseen: Elan-virtuaalimuisti ja Elan-konteksti.

Elanin virtuaalimuisti

Elanilla on MMU, joka muuntaa sirun eri toimintolohkojen (stream-prosessori, DMA-moottori jne.) antamat virtuaalimuistiosoitteet fyysisiksi osoitteiksi. Nämä fyysiset muistiosoitteet voivat olla joko Elanin paikallismuistia ( SDRAM ) tai isäntäpäämuistia. Päämuistin käytön tukemiseksi Elanin MMU:iden konfigurointitaulukot synkronoidaan pääprosessorin MMU-taulukoiden kanssa, jotta Elan voi käyttää virtuaalista osoiteavaruuttaan . Järjestelmäohjelmisto vastaa MMU-taulukoiden synkronoinnista ja on ohjelmoijille näkymätön.

MMU Elan voi muuntaa pääprosessorin muodossa olevien virtuaaliosoitteiden ja Elan-muodossa kirjoitettujen virtuaaliosoitteiden välillä (32-bittinen sana, little-endian-arkkitehtuuri).

MMU-taulukot voivat kartoittaa virtuaalimuistin jaettuun alueeseen, jota kutsutaan kasaksi . On-demand-allokaattori kartoittaa fyysiset sivut - pää- tai Elan-sivut tälle virtuaaliselle osoitealueelle. Siten käyttämällä Elan-kirjaston tarjoamia allokointitoimintoja käyttäjä voi allokoida virtuaalimuistin osia joko päämuistista tai Elan-muistista, ja pääprosessori ja Elan MMU voidaan sovittaa yhteen.

Kontekstuaalinen merkitys

Perinteisessä virtuaalimuistijärjestelmässä kullekin käyttäjäprosessille osoitetaan prosessin tunnusnumero, joka määrittää MMU-taulukoiden joukon ja siten käyttäjäprosessin käytettävissä olevat fyysiset osoiteavaruudet. QsNet laajentaa tätä konseptia niin, että rinnakkaisen ohjelman käyttäjien osoiteavaruudet voivat mennä päällekkäin. Elan korvaa prosessin ID-arvon kontekstiarvolla. Käyttäjäprosessit voivat käyttää suoraan vietyä etämuistisegmenttiä kontekstiarvon ja virtuaaliosoitteen avulla. Lisäksi kontekstiarvo määrittää myös mitkä etäprosessit pääsevät osoiteavaruuteen Elan-verkon kautta ja missä nämä prosessit sijaitsevat. Jos käyttäjäprosessi on monisäikeinen, säikeet jakavat saman kontekstin samalla tavalla kuin ne jakavat saman päämuistin osoitetilan. Jos solmussa on useita fyysisiä prosessoreita, eri prosessorit voivat suorittaa erilliset säikeet. Säikeillä on kuitenkin edelleen sama konteksti.

Verkkovian havaitseminen ja vikasietoisuus

On tärkeää huomata, että vian havaitseminen ja vikasietoisuus tapahtuu kahden vuorovaikutuksessa olevan Elanin välillä. Normaalin toiminnan aikana Elan-lähde lähettää paketin (eli reititystiedot lähdereititystä varten, jota seuraa yksi tai useampi tapahtuma). Kun kohde-Elanin vastaanottaja vastaanottaa tapahtuman ACK Now -lipulla, tämä tarkoittaa, että tämä tapahtuma on paketin viimeinen. Toimeksiannon jälkeen Elan lähettää kuittauspaketin, merkki palautetaan lähde Elanille. Vain silloin, kun Elan-lähde vastaanottaa paketin kuittaustunnuksen ja lähettää paketin lopun merkin ilmaisemaan paketin lähetyksen valmistumisen. Elan-verkon perussääntö on, että jokaisesta linkin kautta lähetetystä paketista Elan-rajapinta palauttaa yhden paketin vahvistustunnuksen. Verkko ei käytä linkkiä uudelleen ennen kuin Elan lähettää tällaisen tunnuksen.

Jos Elan havaitsee virheen lähettäessään pakettia QsNetin kautta, se lähettää välittömästi virheilmoituksen odottamatta paketin kuittaustunnusta. Jos Elite havaitsee virheen, se lähettää virheilmoituksen automaattisesti takaisin lähteelle ja vastaanottajalle. Tämän prosessin aikana lähde ja kohde Elan ja Elite eristävät epäonnistuneen linkin ja/tai kytkimen vikatunnistuksen avulla jokaisessa hyppyssä; lähteelle ilmoitetaan epäonnistuneesta komponentista ja se voi lähettää oletuspaketin uudelleen useita kertoja. Jos tämä epäonnistuu, alkuperä voi konfiguroida reititystaulukkonsa uudelleen vastaavasti epäonnistuneen komponentin välttämiseksi.

Ominaisuudet

• Kaistanleveys: MPI -tasolla noin 300 MB / s.
• Viiveaika: 3 µs.
• Topologia: Fat Tree. Arkkitehtuuri tukee jopa 1024 solmua (QsNet) ja jopa 4096 solmua (QsNet II).
• GNU/Linux - alainen ohjelmisto jaetaan lähdekoodin kanssa GNU GPL -lisenssillä ja tukee MPI:tä (MPICH:n erikoisversio) ja TCP/IP :tä .

Alla on supertietokoneiden yleisimmin käytetyt viestintätyypit ja niiden pääominaisuudet.

Muut verkot supertietokoneille

• gigabitin ethernet
• Myrinet
• Skaalautuva koherentti käyttöliittymä
• InfiniBand

Linkit

• Supertietokoneiden renkaiden vertailu
• Quadrics-verkko (QsNet): High-Performance Clustering Technology