没有Web服务器的刷新dags重新启动apache airflow

时间:2017-04-25 09:10:58

标签: airflow

有没有办法在不重新启动服务器的情况下重新加载作业?

4 个答案:

答案 0 :(得分:6)

airflow.cfg中,您有以下两种配置来控制此行为:

# after how much time a new DAGs should be picked up from the filesystem
min_file_process_interval = 0
dag_dir_list_interval = 60

您可能需要重新加载Web服务器,调度程序和工作程序才能使新配置生效。

答案 1 :(得分:3)

更新相关的python文件时,应重新加载Dags。

如果不是,请首先尝试通过单击看起来像回收符号的按钮在UI中手动刷新它们:

airflow ui refresh button

如果这不起作用,请删除dags文件夹中的所有.pyc文件。

通常,当我保存python文件时,dag会在几分钟内更新。

答案 2 :(得分:2)

我有同样的问题,但还没有看到这个答案。我能够从命令行执行以下操作:

python -c "from airflow.models import DagBag; d = DagBag();"

当网络服务器正在运行时,默认情况下每30秒左右会刷新一次dag,但如果需要,会在两者间刷新它们。

答案 3 :(得分:0)

我对气流非常陌生,但我最初使用的是示例代码,这些代码立即被使用,然后对其进行了编辑以调用我自己的代码。

这最终给出了一个错误,但我只有在我删除了带有示例代码的 DAG 后才在气流网络服务器的用户界面(垃圾箱按钮)上发现了这一点:

enter image description here

删除后,它会向我显示阻止它加载新 dag 的错误。

enter image description here