气流 dag 文件未运行

Question

我对气流很陌生。

我安排 dag 文件每 10 分钟运行一次。我的默认参数如下。

args = {
    'owner': 'crv',
    'start_date': datetime(2021, 1, 1),
}

dag = DAG(
    dag_id='score',
    default_args=args,
    schedule_interval='*/10 * * * *',
    tags=['example']
)

我使用以下命令在后台运行了气流调度程序。

airflow scheduler &

在我执行 airflow scheduler & 命令后，dag 文件正确执行并按计划运行进程。所以，我从终端退出（我在服务器上运行 dag 文件）。过了一会儿，我登录到服务器，发现 dag 文件没有按计划运行，并且在我退出终端后停止运行该进程。然后我杀死当前正在运行的调度程序并重新启动它。在该 dag 文件正常工作之后。但是当我从终端退出时，它会再次按照时间表停止运行进程。

我检查了这个答案中的所有要点https://stackoverflow.com/a/49047832/7909792

我的任务实例详情如下

任何人都可以帮助解决我的问题。谢谢。

Answer 1

您需要在守护进程模式下运行调度程序。使用 airflow scheduler -D。

您可以在 documentation

中阅读更多可选参数