来自主机的Spark YARN客户端作业，主机名未知到群集？

Question

我有多个私有主机可以通过IP从YARN群集中看到，但不是通过主机名可见。当他们尝试在YARN客户端模式下提交任何Spark作业时，尝试从群集连接驱动程序主机。由于将版本spark.driver.host配置为本地主机名，因此失败。

那么有什么好办法可以解决这个问题吗？像自动设置``spark.driver.host`到用于连接集群的客户端IP接口地址的东西？

• 无法选择正确的DNS解析。不可能。

Answer 1

基于此http://spark.apache.org/docs/latest/configuration.html，它似乎也可以包含IP。所以你不必必须设置主机名。

理想情况下，该属性的值必须是群集节点的内部地址。