了解纱线环境中的TaskManager和Task槽

Question

我是Flink的新手，没有机会阅读Flink源代码以了解JobManager，TaskManager和Task Slot的源代码。

我以为TaskManager进程就像Spark的Executor进程，而JobManager就像Spark的Driver进程

但是当我看图https://learning.oreilly.com/library/view/stream-processing-with/9781491974285/assets/components.png

看来我的想法是错误的？是在YARN容器中运行的Task Slot进程吗？也就是说，任务槽类似于Spark的执行程序过程。

我对JobManager，TaskManager和TaskSlot没有很好的理解

Answer 1

Flink documentation解释了分布式运行时的组织方式。概括起来，与Spark相比：

• 任务管理器：Spark Worker
• 任务槽：Spark任务
• 应用程序：Spark驱动程序

至于Flink的Job Manager，直到最近（Flink 1.6），它一直扮演着许多角色。现在，它已经进行了重构，它仍然负责与群集框架无关的大多数群集范围内的问题，这意味着诸如协调检查点，恢复和调度之类的事情。

另请参阅此question的答案。