ETL

ETL ( englanniksi  Extract, Transform, Load  - kirjaimellisesti " poiminta , muunnos, lataus") on yksi tietovaraston hallinnan pääprosesseista , joka sisältää:

• tietojen poimiminen ulkoisista lähteistä;
• niiden muuntaminen ja puhdistaminen liiketoimintamallin tarpeisiin ;
• ja lataa ne tietovarastoon.

ETL-prosessin näkökulmasta tietovarastoarkkitehtuuri voidaan esittää kolmena komponenttina:

• tietolähde: sisältää jäsenneltyä dataa taulukoiden, taulukkojen kokoelman tai vain tiedoston muodossa (jossa tiedot erotetaan erotinmerkeillä);
• staging area: sisältää aputaulukoita, jotka on luotu väliaikaisesti ja yksinomaan latausprosessin järjestämiseksi.
• tiedon kohde: tietovarasto tai tietokanta , johon haetut tiedot on tarkoitus sijoittaa.

Tietojen liikkumista lähteestä määränpäähän kutsutaan tietovirraksi . Tietovirran organisoinnin vaatimukset kuvailee analyytikko. ETL:ää ei tulisi nähdä vain prosessina tietojen siirtämiseksi sovelluksesta toiseen, vaan myös työkaluna tietojen valmistelemiseksi analysointia varten.

Tietojen poiminta ETL:ssä

ETL-prosessin ensimmäinen vaihe on menettely tietueen poimimiseksi tietolähteistä ja niiden valmistelemiseksi muunnosprosessia varten. Tiedonhakumenettelyä kehitettäessä on ensinnäkin määritettävä, kuinka usein tietoja puretaan OLTP - järjestelmistä tai yksittäisistä lähteistä. Tietojen lataaminen kestää tietyn ajan, jota kutsutaan latausikkunaksi.

Tietojen poimintamenettely voidaan toteuttaa kahdella tavalla:

• tietojen poiminta käyttämällä erityisiä ohjelmistotyökaluja;
• tietojen poimiminen sen järjestelmän avulla, johon ne on tallennettu.

Poimimisen jälkeen tiedot sijoitetaan ns. "staging-alueelle", jossa jokaisella tietolähteellä on oma taulukko tai erillinen tiedosto tai molemmat.

Tietojen muuntaminen

Tämän vaiheen tarkoituksena on valmistella tiedot sijoitettaviksi tietovarastoon ja tuoda se myöhempää analysointia varten kätevämpään muotoon. Samalla olisi otettava huomioon eräät analyytikon esittämät vaatimukset, erityisesti tietojen laadun tasolle. Tämän vuoksi muunnosprosessissa voidaan ottaa mukaan monenlaisia ​​työkaluja alkaen yksinkertaisimmista työkaluista manuaaliseen tietojen muokkaamiseen ja päättyen järjestelmiin, jotka toteuttavat monimutkaisia ​​tietojenkäsittely- ja puhdistusmenetelmiä. Tietojen muunnosprosessissa ETL:ssä suoritetaan useimmiten seuraavat toiminnot:

• tietorakenteen muunnos;
• Tietojen yhdistäminen ;
• merkityksien kääntäminen;
• uuden tiedon luominen;
• tietojen puhdistus .

Ladataan tietoja

Latausprosessi koostuu tietojen siirtämisestä välitaulukoista tietovarastorakenteeseen. Seuraavan latauksen aikana tietovarastoon ei siirry kaikkia lähteiden tietoja, vaan vain ne tiedot, jotka ovat muuttuneet edellisestä latauksesta kuluneen väliajan aikana. Virtoja on kaksi:

• virtauksen lisääminen - uutta, aiemmin olematonta tietoa siirretään tietovarastoon;
• päivityskulku (lisäykset) - aiemmin olemassa olleet, mutta muuttuneet tai täydennetyt tiedot siirretään tietovarastoon.

Datatyökaluja käytetään ladattujen tietojen jakamiseen streamissa. Ne tallentavat tietojen tilan jossain vaiheessa ja määrittävät, mitä tietoja on muutettu tai lisätty.

Kirjallisuus

• David Loshin. ETL (Extract, Transform, Load) // Business Intelligence. – 2. - Morgan Kaufmann, 2012. - 400 s. - ISBN 978-0-12-385890-0 .
• David Haertzen. ETL-työkalut // Analyyttinen palapeli: Kannattava tietovarasto, Business Intelligence ja Analytics. - Tekniikan julkaisut, 2012. - 346 s. — ISBN 978-1-935504-20-7 .
• Ralph Kimball, Joe Caserta. Data Warehouse ETL Toolkit: Käytännön tekniikoita tietojen poimimiseen, puhdistamiseen, mukauttamiseen ja toimittamiseen . - John Wiley & Sons, 2004. - 528 s. - ISBN 978-0-764-56757-5 .