Apache-ilmavirta

Apache Airflow  on avoimen lähdekoodin ohjelmisto tietojenkäsittelyn työnkulkujen luomiseen, suorittamiseen, valvontaan ja organisointiin .

Airbnb kehitti sen alun perin lokakuussa 2014 [3] [4] . Hänestä tuli Apache Incubator -projekti maaliskuussa 2016 ja Apache Software Foundationin huipputason projekti tammikuussa 2019 tammikuussa 2019.

Pythonilla kirjoitettuna työnkulut ja niiden riippuvuudet koodataan myös Pythonissa konfiguraatiokoodina (toisin kuin järjestelmät, kuten Oozie ja Azkaban , jotka käyttävät asetustiedostoja [5] ). Työnkulut on järjestetty käyttämällä ohjattua asyklistä kuvaajaa (DAG); kaavioon kerätty operaatioryhmä voidaan käynnistää joko tietyn aikataulun mukaan (esimerkiksi tunneittain tai päivittäin) tai tapahtuman perusteella (esimerkiksi tiedoston ilmestyminen Hiveen [6] ).

Airflow on useiden julkisten pilvipalveluntarjoajien tarjoama tilauspalvelu, mukaan lukien Google Cloud Platform (Cloud Composer) [7] ja Amazon Web Services (marraskuusta 2020 lähtien) [8] .

Muistiinpanot

1. ↑ https://github.com/apache/airflow/releases/tag/2.4.0
2. ↑ https://airflow.incubator.apache.org/license.html
3. ↑ Apache Airflow . Apache Airflow . Haettu 30. syyskuuta 2019. Arkistoitu 12. elokuuta 2019. (määrätön)
4. ↑ Ilmavirtaus . Haettu 30. syyskuuta 2019. Arkistoitu alkuperäisestä 6. heinäkuuta 2019. (määrätön)
5. ↑ AirflowProposal . Apache Software Foundation (28. maaliskuuta 2019). Haettu 1. lokakuuta 2019. Arkistoitu alkuperäisestä 7. huhtikuuta 2022. (määrätön)
6. ↑ Trencseni, Marton Review of Airflow . BytePawn (16. tammikuuta 2016). Käyttöönottopäivä: 1.10.2019. Arkistoitu alkuperäisestä 28. helmikuuta 2019. (määrätön)
7. ↑ -automaatio-työkalu-kehittäjille/ Google julkaisee Cloud Composerin, uuden työnkulun automatisointityökalun kehittäjille  . TechCrunch . Käyttöönottopäivä: 18.9.2019.
8. ↑ -airflow-mwaa/ Johdatus Amazonin hallittuihin työnkulkuihin Apache Airflowlle (MWAA  ) . Amazon Web Services (24.11.2020). Käyttöönottopäivä: 17.12.2020.