Flink:在Jobmanager UI中设置的并行度与任务槽有什么关系?

时间:2018-11-26 11:40:12

标签: parallel-processing bigdata apache-flink distributed-computing

假设我有8个任务管理器和16个任务槽。如果我使用Jobmanager UI提交作业并将并行度设置为8,是否仅使用8个任务槽?

如果我有8个具有8个插槽的任务管理器,并以8的并行度提交同一作业怎么办?完全一样吗?还是处理数据的方式有所不同?

谢谢。

1 个答案:

答案 0 :(得分:2)

Flink群集中任务插槽的总数定义了最大并行度,但是使用的插槽数可能会超过实际的并行度。例如,考虑一下这项工作:

Flink job

如果在具有2个任务管理器的群集中并行运行两个,每个任务管理器提供3个插槽,则调度程序将使用5个任务插槽,如下所示:

Parallelism of two with two task managers with three slots each

但是,如果基本并行度增加到6,则调度程序将执行此操作(请注意,在本示例中,接收器的并行度保持为1):

Increase parallelism to six

有关更多信息,请参见Flink's Distributed Runtime Environment