在Spark独立群集中，master（使用start_master.sh脚本启动的节点）的角色究竟是什么？
我知道这是从submit-job.sh脚本接收作业的节点，但在处理作业时它的作用是什么？
我在Web UI中看到始终将作业传递给slave（以start_slave.sh开头的节点）并且没有参与处理，我是对的吗？在这种情况下，我是否还应该在与master相同的机器上运行脚本start_slave.sh以利用其资源（cpu和内存）？
提前致谢。
答案 0 :(得分：0)
Spark以下列群集模式运行：
以上是为Spark应用程序提供资源的集群模式
Spark独立模式是主从架构，我们有Spark Master和Spark Workers。 Spark Master在其中一个集群节点中运行，Spark Workers在集群的Slave节点上运行。
Spark Master（通常是独立的Master）是资源管理器 为Spark Standalone集群分配资源（CPU，内存，磁盘等......） Spark应用程序。资源用于运行Spark Driver和Executors。
Spark Workers向Spark Master报告有关Slave节点的资源信息。
[Apache的火花]
答案 1 :(得分：0)
Spark Standalone 自带资源管理器。将 Spark Master/Worker 视为 YARN ResourceManager/NodeManager。