Zeppelin 0.7.2版本不支持spark 2.2.0

Question

如何降级火花版？其他解决方案可能是什么？我必须使用spark会话将我的hive表连接到spark。但zeppelin不支持spark版本。

Answer 1

这有两个原因。

[1] Zeppelin 0.7.2将spark 2.2+标记为不受支持的版本。

https://github.com/apache/zeppelin/blob/v0.7.2/spark/src/main/java/org/apache/zeppelin/spark/SparkVersion.java#L40

public static final SparkVersion UNSUPPORTED_FUTURE_VERSION = SPARK_2_2_0;

[2]即使您再次更改const和build，也可能无法使用Spark 2.2运行Zeppelin 0.7.2

• https://spark.apache.org/releases/spark-release-2-2-0.html

Spark不再支持Java 7，而Zeppelin 0.7.2是使用JDK 7构建的。所以你需要用JDK 8重建它。

你可以使用的一个工作是，在spark解释器中指定JAVA_HOME（对于2.2），如此处所述

• https://github.com/apache/zeppelin/pull/2486#issuecomment-314954959

这是有效的，因为只有spark解释器（2.2）需要java 8而Zeppelin不需要它。

简而言之

1. 修改here并重建如果你想在Zeppelin branch-0.7
上激活2.2
2. 并使用JDK 8作为spark解释器。

Answer 2

Zeppelin 0.7.2版本支持spark 2.1.0。