如何将Zeppelin连接到源自Spark的Spark 1.5?

时间:2015-08-30 07:28:51

标签: apache-spark apache-zeppelin apache-spark-1.5

我从Spark存储库中提取了最新的源代码并在本地构建。它在spark-shellspark-sql等交互式shell中运行良好。

现在我想根据this install manual将Zeppelin连接到我的Spark 1.5。我将自定义Spark构建发布到本地maven存储库,并在Zeppelin构建命令中设置自定义Spark版本。构建过程成功完成但是当我尝试在笔记本中运行sc之类的基本内容时,它会抛出:

  

akka.ConfigurationException:Akka JAR版本[2.3.11]与提供的配置版本[2.3.4]不匹配

版本2.3.4在pom.xmlspark/pom.xml中设置,但只是更改它们甚至不会让我获得构建。

如果我使用标准-Dspark.vesion=1.4.1重建Zeppelin,一切正常。

1 个答案:

答案 0 :(得分:8)

更新2016-01

Spark 1.6支持已landed to master,可在-Pspark-1.6个人资料中找到。

更新2015-09

Spark 1.5支持已landed to master,可在-Pspark-1.5个人资料中找到。

在Apache Zeppelin(孵化)中支持Spark 1.5的工作是在这个PR apache/incubator-zeppelin#269下完成的,这将很快给予掌握。

目前,使用-Pspark-1.5Spark_1.5分支构建应该可以解决问题。