在纱线群集模式下提交作业时,Livy失败

时间:2017-09-22 23:36:27

标签: apache-spark yarn livy

我有一个在我的本地运行的livy服务器,它连接到远程纱线群集以运行spark作业。

当我从Livy程序化Job api上传我的jar时,我收到以下错误。

看起来没有为请求消息映射正确的netty通道处理程序。因为这个火花上下文没有被创建。

livy.conf设置:

release

我能够发布到Livy-REST /批次api,并成功提交并完成纱线群集中的作业。

使用相同的配置,当我尝试从我的Java客户端上传jar时,它失败并出现以下错误。

Livy版:0.4.0孵化。

HTTP客户端:

livy.spark.master = yarn
livy.spark.deploy-mode = cluster

错误:

<dependency>
    <groupId>org.apache.livy</groupId>
    <artifactId>livy-client-http</artifactId>
    <version>0.4.0-incubating</version>
</dependency>

0 个答案:

没有答案