如何在代码中设置yarn客户端？

Question

我想在我的hortonworks数据平台上运行我的spark应用程序。在这个设置中，我没有一个独立的spark master，我想作为一个纱线客户端运行。

我正在尝试像这样创建SparkSession：

SparkSession
    .builder()
    .master("yarn-client")
    .appName("my-app")
    .getOrCreate())

我知道我缺少一些属性让spark客户端运行我的纱线服务器，但我似乎无法找到这些属性。

目前，应用程序只挂起init而没有错误或异常。

我缺少什么想法？

Answer 1

您的Hortonworks HDP位于其他地方时，您似乎正试图在本地运行您的应用。

  

与Spark独立模式和Mesos模式不同，其中包含主服务器的地址   在--master参数中指定，在YARN模式下   ResourceManager的地址从Hadoop配置中获取。

因此，您的应用应该从Hortonworks本身运行，它具有所有Hadoop配置。