开始之前,请不要建议我使用Google Composer。我公司已经确定此解决方案不适合我们。
我在GCP中创建了一个小型Compute VM,以托管一个Airflow实例,并且我想将DAG存储在GCS存储桶中。我已经创建了存储桶,并更新了airflow.cfg文件以指向它。当我运行airflow webserver
时,终端输出显示它正在从给定的路径填充DagBag,并且没有错误,但是Airflow找不到我的DAG。
我在某处缺少配置步骤吗?
谢谢!
答案 0 :(得分:1)
Airflow无法从GCS桶中本地读取DAG文件。
您将必须使用类似GCSFuse的方式将GCS存储桶安装到您的VM。并将安装的路径用作Airflow DAGs文件夹。
例如:
桶名称:gs://test-bucket
挂载路径:/airflow-dags
更新您的airflow.cfg
文件以从安装了GCS桶的VM上的/airflow-dags
读取DAG。