Question

我动态创建了一个dag集合（所有都使用相同的.py）。还有一个build-DAG我无法运行：

airflow.exceptions.AirflowException: dag_id could not be found: `build-DAG`. Either the dag did not exist or it failed to parse.
at get_dag (/usr/local/lib/python2.7/site-    packages/airflow/bin/cli.py:130)
at run (/usr/local/lib/python2.7/site-packages/airflow/bin/cli.py:353)
at <module> (/usr/local/bin/airflow:27)

对于这个问题，我可以在UI中看到以前的日志，代码和所有内容，但是我无法运行它。知道如何调试吗？重新启动作曲家实例可能会有用吗？

其余动态创建的dag可以正常工作。

我正在使用与此类似的东西来创建dag： https://gist.github.com/tmarthal/edeae7f6f8780dc53887a16b7b20f205

谢谢你的建议。教育

更新：我正在使用composer-0.5.1-airflow-1.9.0

2018年8月2日更新：我迁移到composer-1.0.0-airflow-1.9.0并仍然发生

Answer 1

这不是气流问题，而是并发问题。

我有两个后端返回动态dag列表，每个后端都有不同的DAG id列表。当DAG定义使用后端A时，创建20个DAG，而使用后端B时仅创建18个DAG。然后，当我尝试运行DAG 19th时，气流间歇性地失败。我的解决方案同步了两个后端。

问候爱德华多

Google Composer：找不到dag_id

1 个答案: