DAG. În Airflow, un DAG – sau a Directed Acyclic Graph – este o colecție a tuturor sarcinilor pe care doriți să le executați, organizate într-un mod care să reflecte relațiile și dependențele lor.
Cum faci DAG-uri în Airflow?
Pentru a crea un DAG în Airflow, trebuie întotdeauna să importați clasa DAG După clasa DAG, vin importurile de Operatori. Practic, pentru fiecare Operator pe care vrei să-l folosești, trebuie să faci importul corespunzător. De exemplu, dacă doriți să executați o funcție Python, trebuie să importați PythonOperator.
Unde caută Airflow-urile DAG?
Airflow caută în DAGS_FOLDER modulele care conțin obiecte DAG în spațiul lor global de nume și adaugă obiectele pe care le găsește în DagBag.
Cum stochează Airflow DAG-urile?
Baza de date de metadate Apache Airflow:
Baza de date cu metadate stochează configurații, cum ar fi variabile și conexiuni De asemenea, stochează informații despre utilizatori, roluri și politici. În cele din urmă, Planificatorul analizează toate DAG-urile și stochează metadate relevante, cum ar fi intervalele de planificare, statisticile de la fiecare rulare și sarcinile acestora.
Este Fluxul de aer un instrument ETL?
Airflow nu este un instrument ETL în sine. Dar gestionează, structurează și organizează conductele ETL folosind ceva numit grafice aciclice direcționate (DAG). … Baza de date cu metadate stochează fluxuri de lucru/sarcini (DAG).
