无法从私有Google云作曲家访问AWS s3存储桶

Question

我正在使用GCP云编写器（Airflow）将s3文件与GCS存储桶同步。当我设置公共作曲家（公共集群）时，我能够运行命令“ gsutil ls s3：// bucket_name ”，并且其中列出了其中的文件，但是当我设置私有集群时，我同样获得连接超时。 我能够列出Google Bucket内容，但无法与s3 bucket连接...有人可以在这里提供帮助

Answer 1

如果 GCP作曲家创建了专用的 GKE 集群，则该集群是根据设计与外部Internet隔离的。

您不应原样从群集内部访问Google Cloud外部的资源，例如S3。有一些选项可以启用外部连接，例如NAT网关。

Answer 2

私有集群没有与集群外部资源的连接，您需要做的是创建NAT网关并将其绑定到集群，这将允许您访问其他云中的资源，例如AWS中的S3 ，或将您的集群列入其他面向公众的服务白名单。