我是使用Apache Airflow的新手,在浏览完文档后,我了解了气流中可用的执行器类型及其基本工作模型。
我的问题是关于CeleryExecutor
使用此执行程序时,我无法找到DAG所在的查找位置。
我的Airflow配置如下:
airflow_home = /home/airflow
dags_folder = /home/airflow/dags
当我运行命令列出DAG时,我得到以下输出
-------------------------------------------------------------------
DAGS
-------------------------------------------------------------------
example_bash_operator
example_branch_dop_operator_v3
example_branch_operator
example_http_operator
example_passing_params_via_test_command
example_python_operator
example_short_circuit_operator
example_skip_dag
example_subdag_operator
example_subdag_operator.section-1
example_subdag_operator.section-2
example_trigger_controller_dag
example_trigger_target_dag
example_xcom
latest_only
latest_only_with_trigger
test_utils
tutorial
虽然没有dags
个文件夹。
在我的群集中,我正在运行
1 WebServer Node
1 Scheduler + Flower Node
1 MySQL Server Node
2 Celery Worker Nodes
如果有人能解释这个概念,那将会有很大的帮助。
更具体地说,我想了解dags
文件夹将驻留在哪个节点上。
提前致谢。
答案 0 :(得分:1)
您列出了Airflow附带的示例DAG。查看配置文件airflow.cfg中的设置load_example。
How to remove default example dags in airflow
对于您的群集,您需要在群集的不同计算机上同步DAG和配置。查看http://airflow.apache.org/configuration.html和芹菜部分