Google云作曲家“找不到dag_id。要么dag不存在,要么解析失败”

时间:2019-07-02 04:43:56

标签: airflow google-cloud-composer

有一个奇怪的问题。我正在尝试动态创建从端点(JSON对象列表)读取的dags(每个dag中多达100个dag,每个dag中有多个子任务)。 但是目前面临两个问题

问题1)如果我从端点或json文件读取数据,则dag不会在UI中呈现。它们不可单击,并且显示“此DAG在Web服务器DagBag对象中不可用。它显示在此列表,因为调度程序在元数据数据库中将其标记为活动状态。

问题2)我尝试在dags脚本中对端点的输出进行硬编码,并且dag正在呈现。

但是taska没有运行,由于超时或“ dag_id找不到:dag不存在或解析失败”而导致任务失败。

当我从CLI列出故障时,即使在日志中也看不到任何错误。

这似乎在处理内部气流,但不适用于云作曲家。

有人知道为什么从json文件或端点中读取时dag无法呈现吗?

如何根据超时问题或气流异常使作曲家更强大

0 个答案:

没有答案