如果更改气流DAG,会发生什么?

时间:2019-10-30 16:05:21

标签: airflow

Airflow监视DAG位置中是否有新的DAG,并在不重启的情况下(每分钟左右)将它们拾起。

如果将更新的dag定义上传到dag位置会发生什么?

假设我有一个名为“ foodag”的dag,它生成1个文件,并且每小时运行一次。在恰好0100时,我部署了一个新版本的“ foodag”,现在可以生成2个文件。当前有一次跑步始于0100,另一次跑步始于0200。

在0100运行将生成多少个文件?这里有比赛条件吗?那0200的那个呢?

2 个答案:

答案 0 :(得分:0)

如果在DAG当前正在运行时部署DAG的新版本,则当前正在运行的DAG(0100)将运行旧版本(生成1个文件)。下次运行(0200)将具有最新版本(生成2个文件)。

答案 1 :(得分:0)

陈浩文,您的问题太简洁-前提不正确。我强烈建议阅读气流初学者教程和最佳实践。 Udemy在这方面也有很棒的课程。这是开发之前必须了解的基础。

“假设我有一个名为'foodag'的dag“ 尚不清楚foodag是文件名还是dag id或两者的组合。根据使用情况,可能都需要对Dag_id和file进行版本控制(以及dag的开始和结束日期)。

  1. 此更改是否是错误修复程序,需要修复以前的数据?
  2. 这个新的f(x)仅从这里开始出现吗?
  3. 是否需要再次运行才能确定过去的结果?

查看此 Efficient way to deploy dag files on airflow