SAP IQ (tunnetaan myös nimellä SAP Sybase IQ ja Sybase IQ) on sarakesuuntautunut relaatiotietokanta , jota käytetään business intelligence -ohjelmistona sekä tietovarastona ja datakauppana . Kehittäjä Sybase Inc. , nyt SAP : n omistuksessa . Sybase IQ:n päätehtävä on analysoida suurta dataa alhaisin kustannuksin sekä luoda erittäin saatavilla oleva ohjelmistoympäristö. SAP IQ:ta mainostetaan usein kaupallisten saraketietokantojen edelläkävijänä .
SAP IQ perustuu korkean suorituskyvyn sarakemuotoiseen tiedontallennustekniikkaan, joka nopeuttaa tiedon pakkaamista ja ad-hoc-kyselyjen suorittamista ilman lisämäärityksiä ja takaa samalla korkean skaalautuvuuden ja käytön pilvipalveluissa. SAP IQ tarjoaa myös mahdollisuuden kehittää älykkäitä sovelluksia sen pohjalta. SAP IQ:ta käytetään analyyttisissä tietokannoissa, älykkäissä asiakassovellusliittymissä ja verkkoteknologioissa.
Tuotteen historia juontaa juurensa vuoteen 1993 Bostonissa sijaitsevaan Expressway Technologies -yritykseen, joka kehitti seuraavan sukupolven sarakesuuntautuneen tietokannan (CDB) monimutkaisten analyyttisten kyselyiden käsittelemiseksi, lopulta nimeltään Sybase IQ. Myöhemmin Sybase osti Expresswayn ja esitteli tämän CBD:n uudelleen vuonna 1995 nimellä IQ Accelerator, jonka nimeksi tuli pian Sybase IQ ja numeroksi 11.0 [1] . Tarjoamalla IQ-tuotteitaan osana kokoelmaa niihin liittyviä tietovarastotekniikoita (mukaan lukien Sybase Adaptive Server Enterprise , Replication Server, PowerDesigner ja SQL Anywhere), Sybase oli yksi ensimmäisistä yrityksistä, joka ymmärsi tarpeen luoda erikoistuotteita tietoihin. varastomarkkinat [2] . Versiosta 12.0 alkaen Sybase on korvannut Adaptive Server Enterprisen löyhästi kytketyn kyselyliittymän tiukasti kytketyllä SQL Anywherella. Sybase IQ 16 on tehnyt uuden suuren datan latausnopeuden maailmanennätyksen [3] .
SAP on ehdottanut uutta lähestymistapaa tietojen tallentamiseen, optimoitua ja yksinkertaisempaa - SAP In-Memory Data Fabric. [4] Tällä muistiin tallennuksen arkkitehtuurilla on useita etuja käytettäväksi yrityksen toiminnassa:
Toisin kuin useimmat muut markkinoiden ratkaisut, SAP In-Memory Data Fabric -tekniikka on rakennettu alusta alkaen nykyaikaisten sarakekohtaisten tietokantojen päälle, mikä tarjoaa infrastruktuurin strategisilla työkaluilla mallintamiseen, tiedon etäkäyttöön ja paremman suorituskyvyn kuin pelkän muistin lisäämisen. tai sarakevälimuisti olemassa oleviin ratkaisuihin.
SAP IQ:lla on tärkeä rooli In-Memory Data Fabricissa, joka mahdollistaa petabyyttimittaisen datan tallennuksen .
SAP IQ:lla on kolme pääetua:
SAP IQ:n käyttöalue on erittäin laaja: rahoituspalvelut, televiestintä, tiedontarjoajat, valtion toiminta, vähittäiskauppa, pankkitoiminta.
Asiakaspuolelta SAP IQ näyttää samalta kuin mikä tahansa muu tietokantajärjestelmä , joka käyttää SQL-kyselyitä ODBC / JDBC -liitäntöjen kautta . Sybase IQ:n sisäiset ominaisuudet perustuvat kuitenkin sarakesuuntautuneeseen DBMS-järjestelmään, joka tallentaa tietotaulukot sarakkeisiin rivien sijaan, kuten useimmat muut perinteiset tietokannat.
Sarakesuuntautunut arkkitehtuuriPylvässuuntaisella laitteella on useita etuja [5] . Jos etsit elementtejä, jotka vastaavat tiettyä arvoa tietosarakkeessa, sinun on käytettävä vain siihen tallennettuja objekteja, vaikka perinteiset tietokannat skannaavat koko taulukon ylhäältä alas. Toinen etu on tietojen indeksointitekniikka, joka mahdollistaa kaiken tiedon indeksoinnin niin, että tallennuskoneessa on ratkaisut, jotka ovat hyväksyttäviä kaikkiin käyttäjien pyyntöihin, samalla kun se on tallennusmuoto ja tapa etsiä tietoa. Tietosivun koon kasvattaminen tehostaa pakkausta ja sen seurauksena suorituskykyä. [6]
IndeksointiEnnen SAP IQ 16:ta jokainen tietosivu rakennettiin kiinteän kokoiseksi soluryhmäksi, joten kaikki arvot olivat samaa tietotyyppiä. Vaikka tämä tiedontallennustapa on tehokas strukturoidulle ja kiinteäpituiselle tiedolle, se ei ole kätevä nykypäivänä kaikkialla olevan strukturoimattomamman ja muuttuvan pituisen datan kannalta. Näiden ongelmien ratkaisemiseksi minimaalisella hukkatilalla jokainen SAP IQ 16 -sivu koostuu erikokoisista soluista, jotka on pakattu tiiviisti yhteen. tällaisen tallennustilan sarakkeet tukevat vaihtelevaa määrää soluja sivua kohden ja erilaisia tietomuotoja. Levylle kirjoittaessaan SAP IQ käyttää Lempel-Ziv-Welch (LZW) [7] pakkausalgoritmia jokaiselle sivulle, mikä vähentää merkittävästi kirjoitettavan tiedon määrää. [8] Bittikarttoja käytetään toissijaisissa indekseissä.
SAP IQ -arkkitehtuuriSAP IQ käyttää klusteroitua grid-arkkitehtuuria, joka koostuu SAP IQ - Multiplex-palvelimista. Näitä klustereita tarvitaan parantamaan suorituskykyä, kun samanaikaisia tai monimutkaisia kyselyjä on paljon. Kaikki laskentasolmut ovat vuorovaikutuksessa yhden jaetun muistin kanssa, kun taas kyselyt voidaan suorittaa missä tahansa niistä. Sybase Multiplex -kokoonpanossa on yksi solmu - järjestelmänvalvoja - joka hallitsee tietokantaluetteloa ja koordinoi arkistoon kirjoitettuja tapahtumia. Muut solmut voivat kirjoittaa tai molemmat lukea ja kirjoittaa koordinoivana solmuna. Tällä arkkitehtuurilla on monia sovelluksia. Työkuormituksen tasapainotus saavutetaan dynaamisesti palvelintoimintaa koskevien rinnakkaisten pyyntöjen avulla. Solmut voivat vaihtaa automaattisesti keskenään - jos yksi solmu on suorittanut pyyntöön osallistumisen, muut jatkavat epäonnistuneelle solmulle alun perin osoitettua työtä pyynnön täyttämiseksi. Sybase Multiplexin fyysiset solmut voidaan ryhmitellä "loogisiksi palvelimiksi", jolloin ne voivat toimia erillään muista solmuista (esimerkiksi turvallisuussyistä tai tasapainoista resurssien allokointia varten). Tällaisen grid-arkkitehtuurin tarkoituksena on tarjota maksimaalinen vakaus jopa globaalien transaktioiden suorittamisessa.
Kehys- ja asiakassovellusliittymätSAP IQ toteuttaa API-kyselyitä, jotka perustuvat puhtaisiin ANSI SQL -standardeihin (joillakin rajoituksilla), mukaan lukien OLAP ja koko tekstihaku . Sekä ANSI SQL että Transact-SQL tukevat tallennettuja toimenpiteitä , ja ne voidaan ajoittaa tai suorittaa välittömästi. On mahdollista käyttää useita tietokantaohjaimia sellaisista ohjelmointikielistä kuin Java , C/C++m, PHP , PERL , Python , Ruby , ADO.Net.
Strukturoimattomien kyselyjen käsittelyStrukturoimattoman kyselyn käsittelyn suorittaa analyyttinen moottori, joka voi tehdä kyselyjä sekä strukturoidulle että strukturoimattomalle datalle ja liittää näiden kyselyiden tulokset yhteen. SAP IQ on tuonut markkinoille uuden tekstihakemiston, ja tekstitiedostojen eri binäärimuodoille on myös mahdollista luoda erityisiä tekstiindeksejä tarvittavan tiedon poimia ja kokotekstihakua tai tekstianalyysiä varten.
TurvallisuusSAP IQ tarjoaa useita perustuotteeseen sisältyviä ja erikseen lisensoituja mekanismeja käyttäjätietojen turvallisuuden maksimoimiseksi. SAP IQ -versio 16 käyttää roolipohjaista kulunvalvontakäytäntöä . Lisäksi saatavilla on lisäsuojausvaihtoehtoja, kuten FIPS -salaus , Kerberos - todennus, LDAP -todennus ja sarakekohtainen tietokannan salaus.
Lifecycle Management (ILM)ILM:ssä SAP IQ:n avulla käyttäjät voivat luoda useita taulukon käyttäjätiloja (loogisia tallennusyksiköitä/säiliöitä tietokantaobjekteille) tietojen järjestämiseksi. Tätä voidaan käyttää strukturoidun tai jäsentelemättömän tiedon erottamiseen, tietojen ryhmittelyyn iän ja arvon perusteella tai tietojen jakamiseen taulukkoon. Taulukkotilat voidaan merkitä vain luku -muotoisiksi kertaluonteisten johdonmukaisuustarkistuksia ja varmuuskopiointia varten. Toinen ILM:n käyttötarkoitus tarjoaa mahdollisuuden osioida taulukoita ja jakaa ne osat tietovarastoon ja varalohkoihin, mikä mahdollistaa tallennusprosessin hallinnan ja porrastetun tiedontallennustilan luomisen, joka siirtyy nopeammasta ja kalliimmasta tallennustilasta hitaampaan ja halvempaan tallennuspohjaiseen. tallennettujen tietojen iästä ja arvosta.
Multiplex varmistaa laskentasolmujen katastrofipalautuksen, skaalautuvuuden ja korkean käytettävyyden, koska järjestelmänvalvojasolmu voi vaihtaa vaihtoehtoiseen koordinaattorisolmuun.
Tietojen saatavuus ja palautusSybase IQ Multilex -kokoonpano tarjoaa skaalattavuuden ja korkean käytettävyyden laskentasolmuille, joissa Multilexiin sisältyy järjestelmänvalvojasolmu, joka voi siirtyä vaihtoehtoiseen solmuun.
SAP IQ Virtual Backupin avulla käyttäjät voivat nopeasti varmuuskopioida tietoja sekä tietojen replikointitekniikkaa. Kun virtuaaliset varmuuskopiot ovat valmiit, ne voidaan testata testillä ja palauttaa; yritystietoja voidaan kopioida kehitys- ja testaustarkoituksiin. SAP väittää, että katastrofipalautus on helpompaa, kun käytetään massiivisesti rinnakkaista arkkitehtuuria . SAP Sybase PowerDesigner -mallinnustyökalun avulla käyttäjät voivat rakentaa ILM-mallin, joka voidaan ottaa käyttöön SAP IQ:n kanssa, ja määrittää sitten tallennustyypit, taulukkotilat ja elinkaarivaiheet.
SAP Control CenterSAP Control Center on web-pohjainen graafinen hallinta- ja valvontatyökalu. SAP Control Centerin avulla voidaan valvoa palvelimia, resursseja (Nodes, Multiplex) mistä tahansa. Verkkosovelluksessa on kerrostettu laajennusarkkitehtuuri.
SAP IQ tukee ulkoisten C++- ja Java-algoritmien yhdistämistä. SQL-kyselyt voivat käyttää näitä algoritmeja tietokannan sisäiseen analyysiin suorituskyvyn ja skaalautuvuuden parantamiseksi. Lisäksi Sybase IQ tarjoaa ohjaimia pääsyyn ohjelmointikielillä, kuten PHP, Perl, Python ja Ruby On Rails.
SAP IQ tukee useimpia suuria käyttöjärjestelmiä, mukaan lukien:
Sybase väittää, että Sybase IQ on tällä hetkellä asennettuna yli 2 000 käyttäjäsivustolle. Merkittäviä asiakkaita ovat comScore Inc [9] , CoreLogic, Investment Technology Group (ITG) [10] ja US Internal Revenue Service (IRS) [11] .