Flink中的任务管理器,任务,插槽,并行性,CPU内核是什么?

时间:2019-08-26 19:20:36

标签: apache-flink amazon-emr flink-streaming taskmanager

有人可以帮助我理解Flink应用程序中任务插槽,并行性和cpu内核之间的含义和区别吗?

此外,如果我有一个具有1个主节点和4个核心节点的EMR集群。每个核心节点具有4个vCore,8个GiB内存和EBS存储:64 GiB。 我的代码中有7个flatmap函数。 (我没有更改任何默认配置) 我希望有人能帮助我了解我的工作有多少个任务管理器,并行性,任务和任务插槽?

1 个答案:

答案 0 :(得分:3)

有关定义,请参见https://stackoverflow.com/a/53620443/2000823https://ci.apache.org/projects/flink/flink-docs-release-1.9/concepts/glossary.html

要了解如何配置特定群集,最简单的方法是查看其web interface。在那里您会找到类似的概述

Flink Web Interface,您还将找到任务管理器及其资源的列表,诸如此类

Task Managers

任务槽具有运行应用程序的并行切片的资源;任务插槽的总数与群集的最大并行度相同。每个任务管理器都有一个插槽,每个任务插槽都有一个CPU内核是很常见的,但是可以进行不同的配置。我不知道EMR的默认设置是什么。

您还应该检查工作图,看起来像这样

enter image description here

查看其拓扑是什么样的,以及其运算符需要什么样的并行性。