可以为每个Airflow DAG设置不同的执行程序吗?

时间:2016-08-03 17:29:33

标签: airflow

我希望将另一个DAG添加到现有的Airflow服务器。服务器当前正在使用LocalExecutor,但我可能希望我的DAG使用CeleryExecutor。似乎配置文件airflow.cfg只允许一个执行程序:

# The executor class that airflow should use. Choices include
# SequentialExecutor, LocalExecutor, CeleryExecutor
executor = LocalExecutor

是否可以配置Airflow,以便现有的DAG可以继续使用LocalExecutor,而我的新DAG可以使用CeleryExecutor或自定义执行器类?我没有找到人们这样做的任何例子,也没有发现Airflow文档中的任何内容。

2 个答案:

答案 0 :(得分:1)

似乎调度程序只会启动执行程序的一个实例。

答案 1 :(得分:1)

如果您的DAG中有SubDAG,则可以将特定执行程序传递给该SubDagOperator。例如,要使用SequentialExecutor:

allTestCoverageFile

这是1.8,不确定1.9是否不同。