Flink:如果作业并行度大于插槽总数,则快速失败

时间:2019-08-30 20:18:45

标签: apache-flink

Flink doc说:

  

Flink集群所需的任务槽与作业中使用的最高并行度恰好一样。

但是当我运行JobCounter = 4和2个插槽(2 TM * 1)的WordCount示例作业时,我发现Dispatcher仍然接受该作业并完成了一些任务,但是几分钟后,发生了此错误:

org.apache.flink.runtime.jobmanager.scheduler.NoResourceAvailableException: Could not allocate enough slots within timeout of 300000 ms to run the job. Please make sure that the cluster has enough resources.

如果并行度大于插槽总数,是否可以将我的作业配置为快速失败?

1 个答案:

答案 0 :(得分:2)

flink作业管理器将尝试在整个集群中查找资源。

您需要给作业管理器一些时间,显然这取决于您的群集大小和网络。

您可以更改slot.request.timeout以便更快地获取异常。