Google Cloud欧洲地区的BigQuery和数据流不匹配

Question

bigquery数据集的docs指出以下欧洲区域可用（A）：

• europe-north1
• europe-west3
• europe-west2
• europe-west6

数据流的docs指出这些是可用的欧洲地区（B）：

• europe-west1
• europe-west4

如您所见，这些区域之间没有重叠。

我们正在构建一个应用程序

• 从php后端创建数据集，bigquery表等。
• 使用python脚本卸载将数据从各种来源移动到bigquery到数据流的工作

我们很愚蠢（事后看来）将我们的项目分为两个部分，它们是独立完成的。两者都可以。从来没有人想到这会成为我们的问题（现在应该很明显）：

• PHP API不能与B一起使用
• 数据流脚本不能与A一起使用
• 数据流无法在区域之间读写
• 出于合规性原因，我们无法在欧盟之外托管我们的数据。

我们如何解决22号渔获？

Answer 1

您将Regional Endpoint与为工作流VM插入了Dataflow管道的实际区域/区域相混淆，并且该区域/区域实际上是在处理数据。

Regional Endpoint处理元数据并编排数据流管道。如果指定--zone，则该区域就是Dataflow的实际辅助VM进入的区域。