气流dagbag_import_timeout-使用subdag吗?

时间:2018-08-08 09:31:48

标签: python airflow

我在LocalExecutor模式下使用Airflow 1.8.0。 我最近遇到了一些DAG包含许多任务的问题:这些任务保持状态=“已排队”,但由于dagbag导入期间发生超时错误而从未启动。

[2018-08-08 00:10:50,388] {models.py:167} INFO - Filling up the DagBag from /opt/airflow/dags/mydag.py
[2018-08-08 00:10:51,187] {models.py:167} INFO - Filling up the DagBag from /opt/airflow/dags/mydag.py
[2018-08-08 00:12:57,790] {timeout.py:37} ERROR - Process timed out
[2018-08-08 00:12:57,791] {models.py:266} ERROR - Failed to import: /opt/airflow/dags/mydag.py 

我发现要解决的解决方案是增加dagbag_import_timeout并将DAG拆分为较小的DAG。 但是我想知道使用subdag运算符是否有帮助。 Airflow会只尝试分别导入每个subdag,还是会尝试加载整个东西并给我同样的错误?

谢谢!

0 个答案:

没有答案