如何使用群集模式和独立模式在spark-submit中将特定节点配置为驱动程序节点

Question

我必须在集群部署模式和独立模式的spark-submit中遇到问题：

• 如何将节点指定为spark cluster

  中的驱动程序节点

  就我而言，驱动程序节点是由spark

动态分配的

• 如何从本地

  自动分发应用程序 在我的情况下，我必须将应用程序jar部署到每个节点，因为我不知道哪个节点将成为驱动程序节点。

PS：我的提交命令是：  spark-submit --master spark://master_ip:6066 --class appMainClass --deploy-mode cluster file:///tmp/spark_app/sparkrun

Answer 1

--deploy-mode 标志确定作业是以cluster还是client模式提交。

在集群模式下，所有节点都将充当执行程序。一个节点将提交JAR，然后您可以使用Web UI跟踪执行情况。该特定节点也将充当执行者。

在客户端模式下，调用spark-submit的节点将充当驱动程序。请注意，此节点不会执行DAG，因为它被指定为群集的驱动程序。所有其他节点都是执行者。同样，Web UI将有助于查看作业的执行和其他有用的信息，如RDD分区，缓存的RDD大小等。