主服务器在Spark独立集群中的角色

Question

在Spark独立群集中，master（使用start_master.sh脚本启动的节点）的角色究竟是什么？

我知道这是从submit-job.sh脚本接收作业的节点，但在处理作业时它的作用是什么？

我在Web UI中看到始终将作业传递给slave（以start_slave.sh开头的节点）并且没有参与处理，我是对的吗？在这种情况下，我是否还应该在与master相同的机器上运行脚本start_slave.sh以利用其资源（cpu和内存）？

提前致谢。

Answer 1

Spark以下列群集模式运行：

• 本地
• 独立
• Mesos
• 纱线

以上是为Spark应用程序提供资源的集群模式

Spark独立模式是主从架构，我们有Spark Master和Spark Workers。 Spark Master在其中一个集群节点中运行，Spark Workers在集群的Slave节点上运行。

  

Spark Master（通常是独立的Master）是资源管理器   为Spark Standalone集群分配资源（CPU，内存，磁盘等......）   Spark应用程序。资源用于运行Spark Driver和Executors。

Spark Workers向Spark Master报告有关Slave节点的资源信息。

[Apache的火花]

Answer 2

Spark Standalone 自带资源管理器。将 Spark Master/Worker 视为 YARN ResourceManager/NodeManager。