Spark：如何指定要运行的驱动程序的IP

Question

我在将特定的spark节点配置为群集中的驱动程序时遇到问题。我有standalaone模式集群。每次在主服务器重新启动时，我都会看到群集中的一个节点被随机选择以运行驱动程序。由于我强制在我的集群中的所有节点上部署我的JAR。

如果我可以为运行的驱动程序指定IP，那么我只需要在一个节点中部署JAR。

感谢，任何帮助。

Answer 1

如果要从特定节点运行，可以使用： --deploy-mode client 使用此选项，驱动程序将始终在运行spark-submit的计算机上运行。

了解更多信息： http://spark.apache.org/docs/latest/submitting-applications.html#launching-applications-with-spark-submit