BigQuery中有很多数据,这些数据必须迁移到Spanner(640亿行,约38 TB)中
我正在使用Apache Beam SDK将数据从BigQuery复制到Spanner。
在这里您可以看到数据流控制台的外观:
- https://i.imgur.com/T458d2C.png(在最后一个阶段“向Cloud Spanner写入突变”时发生了错误)
- https://i.imgur.com/azEPYuA.png(如果我展开它,我可以看到错误发生在3个阶段:“按分区分组”,“将突变分组在一起”,“将变异写到Spanner”)
如果我转到错误日志,可以看到:
- https://i.imgur.com/Wp3JrGi.png(发生了7次相同的错误,然后崩溃的原因是该工人失去了与该服务的联系)
此崩溃的原因是什么?在哪里可以找到解释?有什么办法可以解决这个问题?
非常感谢任何帮助