Question

我将气流用于Spark作业的工作流程。安装后，我将DAG文件复制到airflow.cfg中设置的DAGs文件夹中。我可以回填DAG以成功运行BashOperators。但总有一个像上面提到的警告。我没有验证调度是否正常，但我怀疑调度是否可行，因为警告称主调度程序不知道我的DAG的存在。如何消除此警告并获得调度工作？有人遇到同样的问题可以帮助我吗？

Answer 1

这通常连接到调度程序未运行或刷新间隔太宽。没有日志条目存在，因此我们无法从那里进行分析。此外，不幸的是，原因可能已被忽略，因为这通常是问题的根源：

我没有验证调度是否正常。

首先，您应该检查以下两个服务是否都在运行：

CREATE TABLE TableA
(
PKey INT PRIMARY KEY,
FullName VARCHAR(50),
Email VARCHAR(255) NOT NULL UNIQUE
)

CREATE TABLE TableB
(
Id INT PRIMARY KEY,
FKey INT FOREIGN KEY References TableA(PKey),
Email VARCHAR(255) FOREIGN KEY References TABLEA(Email)
)

和

airflow webserver

如果这样做无效，请参阅此帖子以获取更多参考：Airflow 1.9.0 is queuing but not launching tasks

Airflow DAG＆＃34;似乎只在本地存在。主调度程序似乎并不知道它的存在＆＃34;

1 个答案: