假设我有8个任务管理器和16个任务槽。如果我使用Jobmanager UI提交作业并将并行度设置为8,是否仅使用8个任务槽?
如果我有8个具有8个插槽的任务管理器,并以8的并行度提交同一作业怎么办?完全一样吗?还是处理数据的方式有所不同?
谢谢。
答案 0 :(得分:2)
Flink群集中任务插槽的总数定义了最大并行度,但是使用的插槽数可能会超过实际的并行度。例如,考虑一下这项工作:
如果在具有2个任务管理器的群集中并行运行两个,每个任务管理器提供3个插槽,则调度程序将使用5个任务插槽,如下所示:
但是,如果基本并行度增加到6,则调度程序将执行此操作(请注意,在本示例中,接收器的并行度保持为1):
有关更多信息,请参见Flink's Distributed Runtime Environment。