更改DAG for Cloud Composer的默认GCS位置

时间:2019-02-07 14:40:15

标签: google-cloud-platform airflow google-cloud-composer terraform-provider-gcp

是否有一种方法可以替代Airflow DAG的默认路径。在创建一个新环境并执行一个新环境时,作曲者环境正在项目中创建一个多区域存储桶。

是否有办法将DAG位置覆盖到另一个GCS位置,并将存储类别更改为区域?我发现core-dags_folder是用于指定环境中DAG位置的属性,但是我不明白为什么这是被阻止的配置,并且开发人员无法将其更新为任何其他GCS位置

1 个答案:

答案 0 :(得分:0)

当时,否,无法更改Cloud Composer中Airflow DAG的默认路径。

这可能是设计使然的(这就是core-dags_folder是被阻止的配置值的原因),因为一个或多个托管组件(例如Airflow Web服务器)依赖于这些路径来协调DAG同步/等。如果您感到好奇,可以阅读有关数据同步here的更多信息。

如果您对单区域存储类或备用DAG位置有强大的用例,我建议使用filing feedback