Question

Airflow调度程序正在按照airflow.cfg文件中的设置从正确的文件夹中提取垃圾邮件。但是，Airflow ui Web服务器从错误的文件夹中选择了垃圾邮件。通过查看运行气流Web服务器的终端的标准输出，我意识到了这一点：[2018-10-08 14:26:48,519] [15535] {models.py:167} INFO - Filling up the DagBag from /home/aviral/airflow/dags

注意，我的airflow.cfg文件具有：

# The folder where your airflow pipelines live, most likely a
# subfolder in a code repository
# This path must be absolute
dags_folder = /home/aviral/dev/airflow_learning/airflow_home/dags

Answer 1

在我看来，您有多个Airflow安装。我认为您必须在管理->配置菜单中检查用户界面。

这将告诉您哪个气流处于活动状态并设置为AIRFLOW_HOME和AIRFLOW_CONFIG。

如果未设置AIRFLOW_CONFIG环境变量，它将始终默认为您的主目录。您必须将其设置为如下所示： AIRFLOW_CONFIG=$AIRFLOW_HOME/airflow.cfg。

Answer 2

使用以下命令更改Dag文件夹。

打开终端的.bashrc或.zshrc用户文件

vi ~/.bashrc

在文件中添加以下命令

 export AIRFLOW_HOME='/var/www/html/airflow'
 export AIRFLOW_CONFIG=$AIRFLOW_HOME/airflow.cfg

使用以下命令运行.bashrc文件。

source ~/.bashrc

现在，如果您运行气流Web服务器，它将从AIRFLOW_HOME / dags目录中选择dags。

如何更改Airflow Web ui的dag bag文件夹？

2 个答案: