BigQueryIO.write操作的成功/失败

时间:2017-10-09 10:48:57

标签: google-cloud-dataflow apache-beam

有没有办法知道BigQueryIO.write()操作是否已在程序中成功完成? 它返回WriteResult但无法在其中找到任何相关方法。或者有吗?

1 个答案:

答案 0 :(得分:1)

如果管道中的任何操作失败,则重试该操作。如果重复失败,则终止批处理作业并将其标记为失败,并且流式处理作业将继续永久重试。 WriteResult允许您使用InsertRetryPolicy来控制重试错误的方式。这允许IO部分成功并指示哪些行有问题。如果您没有设置InsertRetryPolicy,那么完成的管道意味着写入已成功完成。

如果这不能解决您的疑虑,您能详细说明您的目的吗?