我从Spark存储库中提取了最新的源代码并在本地构建。它在spark-shell
或spark-sql
等交互式shell中运行良好。
现在我想根据this install manual将Zeppelin连接到我的Spark 1.5。我将自定义Spark构建发布到本地maven存储库,并在Zeppelin构建命令中设置自定义Spark版本。构建过程成功完成但是当我尝试在笔记本中运行sc
之类的基本内容时,它会抛出:
akka.ConfigurationException:Akka JAR版本[2.3.11]与提供的配置版本[2.3.4]不匹配
版本2.3.4在pom.xml
和spark/pom.xml
中设置,但只是更改它们甚至不会让我获得构建。
如果我使用标准-Dspark.vesion=1.4.1
重建Zeppelin,一切正常。
答案 0 :(得分:8)
更新2016-01
Spark 1.6支持已landed to master,可在-Pspark-1.6
个人资料中找到。
更新2015-09
Spark 1.5支持已landed to master,可在-Pspark-1.5
个人资料中找到。
在Apache Zeppelin(孵化)中支持Spark 1.5的工作是在这个PR apache/incubator-zeppelin#269下完成的,这将很快给予掌握。
目前,使用-Pspark-1.5
从Spark_1.5分支构建应该可以解决问题。