Google Dataflow作业和BigQuery在不同地区失败

Question

我的Google Dataflow作业失败了：

BigQuery job ... finished with error(s): errorResult: 
Cannot read and write in different locations: source: EU, destination: US, error: Cannot read and write in different locations: source: EU, destination: US

我正在开始工作 --zone=europe-west1-b

这是管道中唯一可以用BigQuery做任何事情的部分：

Pipeline p = Pipeline.create(options);
p.apply(BigQueryIO.Read.fromQuery(query));

我正在阅读的BigQuery表中有详细信息：Data Location EU

当我在本地工作时，我得到：

SEVERE: Error opening BigQuery table  dataflow_temporary_table_339775 of dataset _dataflow_temporary_dataset_744662  : 404 Not Found

如果我只是在阅读数据，我不明白它为什么要写到不同的位置。即使它需要创建一个临时表，为什么它是在不同的区域创建的？

有什么想法吗？

Answer 1

我建议验证：

• 如果Google数据流的登台位置位于同一区域。
• 如果Dataflow中使用的Google云端存储位置也位于同一区域中。