是否可以将本地测试docker-airflow环境链接到GCP上的现有Airflow？

Question

我刚刚在本地设置了Airflow，并封装在docker容器中。

我想知道是否可以将此Airflow本地环境链接到GCP上的实际Airflow / Composer服务？

是否可以使用docker容器来做到这一点？

谢谢

Answer 1

Cloud Composer运行自己的Airflow实例，因此您无法设置一个Composer环境来控制在自己的计算机上运行的Airflow实例。但是，如果您运行自己的Kubernetes集群并在自己的计算机与Composer环境的GKE集群之间建立网络，则可以在本地集群中运行Airflow任务。