在Spark中将IP地址设置为spark.driver.host而不是hostname？

Question

我在声明spark.driver.host设置时遇到问题。 假设我有一个主机带有HOSTNAME和绑定地址192.168.1.1（它的linux，windows根本没有这个问题）。

如果我设置了一个属性spark.driver.hostname = 192.168.1.1，工作人员将回复HOSTNAME，这非常糟糕，因为他们没有使用此主机名的DNS。

正如this troubleshooting page所说：

  

如果SPARK_LOCAL_IP设置为IP地址，则会将其解析为主机名。

这是一个问题：如何不将此IP地址设置为主机名？

Answer 1

hostname -f提供您的FQDN 将其添加到/ etc / hosts文件中

  火花节点上的[你的IP地址] [你的主机名]

或将您的主机名添加到您的火花节点使用的dns

Answer 2

您可以在Spark环境中设置SPARK_LOCAL_HOSTNAME = ip地址来解决该问题。