Question

我是Airflow的新手。我正在尝试将气流调度程序作为守护程序进程运行，但该过程不会持续很长时间。我已经配置了＃34; LocalExecutor＆＃34;在airflow.cfg文件中运行以下命令启动调度程序。（我正在使用Google计算引擎并通过PuTTY访问服务器）

airflow scheduler --daemon --num_runs=5 --log-file=/root/airflow/logs/scheduler.log

当我运行此命令时，气流调度程序启动，我可以在我的气流主文件夹中看到airflow-scheduler.pid文件，但该过程不能存活很长时间。当我关闭PuTTY会话并重新连接到服务器时，我找不到调度程序进程。我错过了什么吗？如何将气流调度程序作为守护进程运行？

Answer 1

您可以按照此处所述使用systemd或upstart：

https://github.com/apache/incubator-airflow/tree/master/scripts/systemd https://github.com/apache/incubator-airflow/tree/master/scripts/upstart

以下是指示以后链接是否会中断的说明。

在基于RedHat的系统上测试提供的systemd文件。将它们复制（或链接）到/ usr / lib / systemd / system   并将airflow.conf复制到/etc/tmpfiles.d/或/usr/lib/tmpfiles.d/。复制airflow.conf确保/ run / airflow   使用正确的所有者和权限（0755气流气流）创建

然后，您可以使用systemctl start启动不同的服务器。启用服务可以通过发布
来完成

systemctl enable [service]

默认情况下，环境配置指向/ etc / sysconfig / airflow。你可以复制＆＃34;气流＆＃34;文件在这   目录并根据自己的喜好进行调整。确保指定SCHEDULER_RUNS变量。

通过一些细微的更改，它们可能适用于其他系统系统。

您可以修改以下配置文件以反映您的环境

/ etc / sysconfig / airflow文件的内容

# This file is the environment file for Airflow. Put this file in /etc/sysconfig/airflow per default
# configuration of the systemd unit files.
#
# AIRFLOW_CONFIG=
# AIRFLOW_HOME=
#
# required setting, 0 sets it to unlimited. Scheduler will get restart after every X runs
SCHEDULER_RUNS=5

/etc/tmpfiles.d/airflow.conf或/usr/lib/tmpfiles.d/airflow.conf文件的内容

D /run/airflow 0755 airflow airflow

/usr/lib/systemd/system/airflow-scheduler.service的内容

[Unit]
Description=Airflow scheduler daemon
After=network.target postgresql.service mysql.service redis.service rabbitmq-server.service
Wants=postgresql.service mysql.service redis.service rabbitmq-server.service

[Service]
EnvironmentFile=/etc/sysconfig/airflow
User=airflow
Group=airflow
Type=simple
ExecStart=/bin/airflow scheduler -n ${SCHEDULER_RUNS}
KillMode=process
Restart=always
RestartSec=5s

[Install]
WantedBy=multi-user.target

Answer 2

--num-runs=5将使调度程序运行任务实例5次。您可以删除该参数以使调度程序长时间运行。

理想情况下，您应该在主管下运行该调度程序，因此当进程崩溃/停止时，它将重新运行。

Answer 3

我有类似的问题。当我将调度程序作为守护进程执行时，我的气流调度程序没有一直作为守护进程运行：

airflow scheduler -D

但是当我正常运行时，调度程序确实可以工作。在删除airflow-scheduler.err文件并作为守护进程重新运行调度程序后，它开始工作：

rm airflow-scheduler.err
airflow scheduler -D

如何将气流调度程序作为守护程序进程运行？

3 个答案: