气流调度程序

Question

您好我正在尝试在EC2群集上的ubuntu 16.04上使用SequentialExecutor设置最简单的Airflow版本。

我已经创建了一个每5分钟运行一次的dag，但dag运行会被卡在队列中，除非我进入服务器，运行airflow scheduler并保持该终端窗口打开。

有没有办法不打开窗户？

Answer 1

正如Daniel所说，你需要守护调度程序，以便它在后台继续运行。您可以使用systemd / upstart查看Airflow documentation。

Answer 2

您可以通过传递--daemon标志来将调度程序作为守护程序运行。它将作为后台进程运行，因此即使在您关闭窗口后它仍然保持活动状态。可以在worker和webserver上使用相同的标志。

-D, --daemon          Daemonize instead of running in the foreground

或者，您也可以使用systemd将气流作为服务运行。 Airflow有一些您可以参考的示例config files。