驱动程序进程可以在Spark集群之外运行吗？

Question

我从What conditions should cluster deploy mode be used instead of client?，

中读到了答案

  

（在客户端模式下）您可以在笔记本电脑上运行spark-submit，并在您的笔记本电脑上运行驱动程序。

另外，Spark Doc说，

  

在客户端模式下，驱动程序在与提交应用程序的客户端相同的进程中启动。

这是否意味着我可以从任何机器提交spark任务，只要它可以从master获得并且具有Spark环境？

或者换句话说，驱动程序进程可以在Spark群集之外运行吗？

Answer 1

是的，驱动程序可以在您的笔记本电脑上运行。请记住：

• Spark驱动程序需要Hadoop配置才能与YARN和HDFS通信。您可以从群集中复制它并通过HADOOP_CONF_DIR指向它。
• Spark驱动程序将侦听许多端口，并期望执行程序能够连接到它。它将宣传您的笔记本电脑的主机名。确保可以从群集环境中解析并访问所有端口。

Answer 2

是的，我正在使用选项--deploy-mode cluster在LAN上运行spark-submit作业。然而，当前遇到this问题：服务器响应（json对象）不是很具描述性。