数据流API在数据格式异常后重试几次

时间:2015-06-16 10:55:14

标签: google-cloud-dataflow

我发现这是数据流API的必要改进,或者我可能错了。

我创建了一个批处理数据流,错误地输入文件中的一行有无效的数据格式。

因此管道作业提供了DataFormatException。但是,在停止工作之前,它没有停止工作,而是重试了几次~4次。

我认为这是一种错误的行为。当批处理数据流接收到无效的数据格式时,它应该自行停止作业,而不是多次重试然后停止作业。 想法?

1 个答案:

答案 0 :(得分:3)

似乎Dataflow正试图建立一些容错能力。这是一件好事。这种行为已明确记录here("如何在数据流中处理Java异常?")

如果您不想要这种行为,只需编写自己的异常处理代码,如果您不希望重试该代码,请进行纾困。