Google Dataflow Java SDK在数据迁移期间引发异常

时间:2018-07-17 12:37:40

标签: java google-bigquery google-cloud-dataflow apache-beam google-cloud-spanner

BigQuery中有很多数据,这些数据必须迁移到Spanner(640亿行,约38 TB)中

我正在使用Apache Beam SDK将数据从BigQuery复制到Spanner。

在这里您可以看到数据流控制台的外观:

  1. https://i.imgur.com/T458d2C.png(在最后一个阶段“向Cloud Spanner写入突变”时发生了错误)
  2. https://i.imgur.com/azEPYuA.png(如果我展开它,我可以看到错误发生在3个阶段:“按分区分组”,“将突变分组在一起”,“将变异写到Spanner”)

如果我转到错误日志,可以看到:

  1. https://i.imgur.com/Wp3JrGi.png(发生了7次相同的错误,然后崩溃的原因是该工人失去了与该服务的联系)

此崩溃的原因是什么?在哪里可以找到解释?有什么办法可以解决这个问题?

非常感谢任何帮助

0 个答案:

没有答案