在HDP 2.6上运行的Zeppelin 0.7.0上的Spark2.2解释器

时间:2017-10-10 16:50:04

标签: apache-spark hortonworks-data-platform apache-zeppelin

只需尝试测试一个Zeppelin解释器,在Zeppelin 0.7.0(HDP2.6)上的YARN上运行Spark 2.2,但反复得到:

java.lang.ClassNotFoundException: com.sun.jersey.api.client.config.ClientConfig

我正在运行的是

%spark2 
sc.version

使用相同的Spark 2.2,我可以运行在YARN(本地和远程)上运行的spark-submit和spark-shell操作,但是不能让Zeppelin听取这个新版本的Spark。 Zeppelin-HDP是否仅支持Spark 2.1和1.6? (My Spark 2.2是一个自定义安装)。

唯一让我相信上述内容的是我可以在测试Zeppelin笔记本的日志中看到:  Added JAR file:/usr/hdp/current/zeppelin-server/interpreter/spark/zeppelin-spark_2.10-0.7.0.2.6.0.3-8.jar

似乎是HDP特定的齐柏林飞艇JAR。

请帮忙。

1 个答案:

答案 0 :(得分:1)

是的,你是对的。当我在mesos上运行zeppelin 0.7.0并激活2.2.0时,我遇到了类似的问题。事实上看看这个提交:

https://github.com/apache/zeppelin/commit/28310c2b95785d8b9e63bc0adc5a26df8b3c9dec

似乎在0.7.3中添加了支持,因此请尝试升级zeppelin并尝试一下。我从master分支构建了zeppelin,它对我有用,但标记v0.7.3也可以正常工作。