如何配置Airflow以从GCS存储桶读取DAG?

时间:2019-08-05 14:18:02

标签: google-cloud-platform google-cloud-storage google-compute-engine airflow

开始之前,请不要建议我使用Google Composer。我公司已经确定此解决方案不适合我们。

我在GCP中创建了一个小型Compute VM,以托管一个Airflow实例,并且我想将DAG存储在GCS存储桶中。我已经创建了存储桶,并更新了airflow.cfg文件以指向它。当我运行airflow webserver时,终端输出显示它正在从给定的路径填充DagBag,并且没有错误,但是Airflow找不到我的DAG。

我在某处缺少配置步骤吗?

谢谢!

1 个答案:

答案 0 :(得分:1)

Airflow无法从GCS桶中本地读取DAG文件。

您将必须使用类似GCSFuse的方式将GCS存储桶安装到您的VM。并将安装的路径用作Airflow DAGs文件夹。

例如:

桶名称:gs://test-bucket 挂载路径:/airflow-dags

更新您的airflow.cfg文件以从安装了GCS桶的VM上的/airflow-dags读取DAG。