Airflow监视DAG位置中是否有新的DAG,并在不重启的情况下(每分钟左右)将它们拾起。
如果将更新的dag定义上传到dag位置会发生什么?
假设我有一个名为“ foodag”的dag,它生成1个文件,并且每小时运行一次。在恰好0100时,我部署了一个新版本的“ foodag”,现在可以生成2个文件。当前有一次跑步始于0100,另一次跑步始于0200。
在0100运行将生成多少个文件?这里有比赛条件吗?那0200的那个呢?
答案 0 :(得分:0)
如果在DAG当前正在运行时部署DAG的新版本,则当前正在运行的DAG(0100)将运行旧版本(生成1个文件)。下次运行(0200)将具有最新版本(生成2个文件)。
答案 1 :(得分:0)
陈浩文,您的问题太简洁-前提不正确。我强烈建议阅读气流初学者教程和最佳实践。 Udemy在这方面也有很棒的课程。这是开发之前必须了解的基础。
“假设我有一个名为'foodag'的dag“ 尚不清楚foodag是文件名还是dag id或两者的组合。根据使用情况,可能都需要对Dag_id和file进行版本控制(以及dag的开始和结束日期)。