Question

我正在Cloud Composer上使用Cloud Storage Text to BigQuery模板。

该模板从Python google api客户端启动。

同一程序

在美国位置正常工作（适用于Dataflow和BigQuery）。
在 asia-northeast1位置失败。
在亚洲东北地区的更少（少于10000个）输入文件中可以正常工作。

有人对此有想法吗？由于业务原因，我想在亚洲东北地区执行死刑。

有关失败的更多详细信息：

该程序一直运行到“ ReifyRenameInput”，然后失败。

dataflow job failed

，并显示以下错误消息：

java.io.IOException: Unable to insert job: beam_load_textiotobigquerydataflow0releaser0806214711ca282fc3_8fca2422ccd74649b984a625f246295c_2a18c21953c26c4d4da2f8f0850da0d2_00000-0, aborting after 9 . 

at org.apache.beam.sdk.io.gcp.bigquery.BigQueryServicesImpl$JobServiceImpl.startJob(BigQueryServicesImpl.java:231)
 at org.apache.beam.sdk.io.gcp.bigquery.BigQueryServicesImpl$JobServiceImpl.startJob(BigQueryServicesImpl.java:202)
 at org.apache.beam.sdk.io.gcp.bigquery.BigQueryServicesImpl$JobServiceImpl.startCopyJob(BigQueryServicesImpl.java:196)
 at org.apache.beam.sdk.io.gcp.bigquery.WriteRename.copy(WriteRename.java:144) 
at org.apache.beam.sdk.io.gcp.bigquery.WriteRename.writeRename(WriteRename.java:107) 
at org.apache.beam.sdk.io.gcp.bigquery.WriteRename.processElement(WriteRename.java:80)
 Caused by: com.google.api.client.googleapis.json.GoogleJsonResponseException: 
404 Not Found { "code" : 404, "errors" : [ { "domain" : "global", "message" : "Not found: Dataset pj:datasetname", "reason" : "notFound" } ], "message" : "Not found: Dataset pj:datasetname" }

（pj和数据集名称不是真实名称，它们是outputTable参数的项目名称和数据集名称）

尽管错误消息指出未找到数据集，但肯定存在该数据集。

此外，程序执行后，在数据集中创建了一些新表，这些表似乎是临时表。

Answer 1

根据this public issue tracker，这是与您的Beam SDK版本有关的已知问题。 Beam 2.5.0 SDK版本没有此问题。

数据流插入BigQuery失败，并导致Asia-northeast1位置有大量文件

1 个答案: