我在LocalExecutor模式下使用Airflow 1.8.0。 我最近遇到了一些DAG包含许多任务的问题:这些任务保持状态=“已排队”,但由于dagbag导入期间发生超时错误而从未启动。
[2018-08-08 00:10:50,388] {models.py:167} INFO - Filling up the DagBag from /opt/airflow/dags/mydag.py
[2018-08-08 00:10:51,187] {models.py:167} INFO - Filling up the DagBag from /opt/airflow/dags/mydag.py
[2018-08-08 00:12:57,790] {timeout.py:37} ERROR - Process timed out
[2018-08-08 00:12:57,791] {models.py:266} ERROR - Failed to import: /opt/airflow/dags/mydag.py
我发现要解决的解决方案是增加dagbag_import_timeout并将DAG拆分为较小的DAG。 但是我想知道使用subdag运算符是否有帮助。 Airflow会只尝试分别导入每个subdag,还是会尝试加载整个东西并给我同样的错误?
谢谢!