气流中的Dag脚本

Question

我在气流中为python脚本中的函数编写了Dag脚本。例如，在dag脚本中，我将python脚本导入为“ from data_extractor import *”。我在中为这些函数构建了工作流程气流dag脚本 data_extractor_dag.py 中的data_extractor.py 。但是，当我在 data_extractor.py 中进行任何代码更改时，气流dag data_extractor_dag.py 无法加载。在这种情况下，也不会加载气流UI页面。如何在这种情况下更好地使用气流。

Answer 1

据我所知，您在data_extractor.py中有一些库代码，在data_extractor_dag.py中有dag定义。在data_extractor.py中编辑代码时，所做的更改不会显示在dag中。这是正确的吗？

借助Airflow，Web服务器和调度程序都会定期刷新其对dag的视图。执行此操作时，它将查找包含dag的python文件并将其导入。如果您的代码全部包含在dag定义文件中，则可以很好地工作并接受更改。但是，如果您编辑现有的库文件或作为Airflow插件导入的文件，则需要重新启动调度程序和Web服务器，以进行任何更改。

如果不重新启动Airflow，如果您的DAG代码正在从现有的库中导入新内容（因为该库不会被更新），您可能会看到错误。