Flink检查点失败-缺少子任务响应

时间:2019-04-29 20:24:12

标签: apache-flink checkpoint

检查点超时后失败。我们观察到有些子任务没有响应。任何想法都会导致此问题吗?

工作环境:

平行主义:5

数据量:不足40k

BackPressure:在作业结束时发送到另一个API,这可能会花费一些时间。

missing subtask respond 外部通话:

objectMap.localKeySet(predicate)

1 个答案:

答案 0 :(得分:0)

这里似乎可能是future.get()块,并且由于某种原因未能在检查点超时间隔内返回。

我建议您使用Flink的RichAsyncFunction代替。这样做的好处是不会阻塞子任务,从而允许检查点完成。

RichAsyncFunction将检查未解决的期货,并在从故障中恢复时重新发出这些请求。