使用CeleryExecutor时DAG在Airflow中的位置

时间:2018-01-30 14:26:42

标签: bigdata workflow airflow

我是使用Apache Airflow的新手,在浏览完文档后,我了解了气流中可用的执行器类型及其基本工作模型。

我的问题是关于CeleryExecutor

使用此执行程序时,我无法找到DAG所在的查找位置。

我的Airflow配置如下:

airflow_home = /home/airflow
dags_folder = /home/airflow/dags

当我运行命令列出DAG时,我得到以下输出

-------------------------------------------------------------------
DAGS
-------------------------------------------------------------------
example_bash_operator
example_branch_dop_operator_v3
example_branch_operator
example_http_operator
example_passing_params_via_test_command
example_python_operator
example_short_circuit_operator
example_skip_dag
example_subdag_operator
example_subdag_operator.section-1
example_subdag_operator.section-2
example_trigger_controller_dag
example_trigger_target_dag
example_xcom
latest_only
latest_only_with_trigger
test_utils
tutorial

虽然没有dags个文件夹。

在我的群集中,我正在运行

1 WebServer Node
1 Scheduler + Flower Node
1 MySQL Server Node
2 Celery Worker Nodes

如果有人能解释这个概念,那将会有很大的帮助。 更具体地说,我想了解dags文件夹将驻留在哪个节点上。

提前致谢。

1 个答案:

答案 0 :(得分:1)

您列出了Airflow附带的示例DAG。查看配置文件airflow.cfg中的设置load_example。

How to remove default example dags in airflow

对于您的群集,您需要在群集的不同计算机上同步DAG和配置。查看http://airflow.apache.org/configuration.html和芹菜部分