Spark - 什么是工人？ （深入）

Question

好吧，我已经在Spark工作了2个月，我想更深入地了解Spark中的工作者概念。 我知道它被称为＆＃34;节点＆＃34;，它管理自己的执行器。在我的情况下，每个工作者有6个执行器，因为我有6个核心，我按这种方式配置。 1个执行器= 1个JVM，但究竟什么是工人？它的全部职责是什么？

我提前感谢spark的专家分享他们的知识。

Answer 1

worker是群集中的计算机。主人管理所有工人，告诉他们该做什么。工作者将（数据）数据存储在同一工作人员执行者之间共享的内存中。当工人必须交换数据时，这被称为shuffle。假设您的5台机器中的每台机器都有6个核心，那么当您有4名工人和一名主机时，您可以拥有24个执行器。