为什么工作人员独立的主计划驱动程序？

Question

schedule()中的Master.scala显示第一个计划任务是在Workers上安排驱动程序。由于Master将仅启动独立模式，因此驱动程序将在Spark群集的客户端上运行。

为什么主人需要安排工人运行司机？

Answer 1

如果您指的是private def schedule(): Unit，该方法会使用spark-submit来安排--deploy-mode cluster的Spark应用程序的驱动程序。

来自Launching Applications with spark-submit（从Cluster Mode Overview链接）：

  

- deploy-mode 是将驱动程序部署在工作节点（cluster）上还是本地部署为外部客户端（client）（默认值：{{1 }}）

在client部署模式下，驱动程序在集群中的worker上运行（与集群管理器，Spark Standalone，Hadoop YARN或Apache Mesos无关）。和Spark执行者一样。