在Google Cloud Dataflow中,当任务遇到问题时,它会自动重新运行几次。日志中将显示以下消息:
Failed task is going to be retried.
然而,在开发过程中,失败的原因几乎总是我的错误,所以我更希望取消这项工作,而不是不必要地继续工作。
我可以用一些设置来控制重试行为吗? 理想情况下,这将是管道选项中的一些内容,但我找不到任何内容there。
答案 0 :(得分:2)
在Dataflow服务上运行时,目前无法更改重试次数。
但是,您可以使用DirectPipelineRunner在本地测试您的代码,如果您的代码抛出异常,它将立即失败。