无法在HDP 2.5.3上手动启动spark 2.1.0

时间:2017-02-15 20:30:04

标签: apache-spark

我在spark 2.0.0上测试了我的火花代码,我遇到了一个错误SPARK-17463,我想使用spark 2.1.0,因为这个版本修复了错误。

但是,我无法为spark 2.1.0提供带有客户端模式的spark-shell

我需要在HDP 2.5.3群集上使用2.1.0。

它抛出异常:

Supplier

3 个答案:

答案 0 :(得分:14)

我在EMR中遇到了与spark-submit相同的问题,将$ jersey-bundle-1.19.1.jar添加到$ SPARK_HOME / jars后,问题得到了解决。

您可以从此处下载:http://repo1.maven.org/maven2/com/sun/jersey/jersey-bundle/1.19.1/jersey-bundle-1.19.1.jar

答案 1 :(得分:2)

在spark-defaults.conf中添加以下参数,然后重新启动Spark历史记录服务器。

spark.hadoop.yarn.timeline-service.enabled false

答案 2 :(得分:1)

YARN时间服务与Spark提供的库不兼容。请通过设置spark.hadoop.yarn.timeline-service.enabled=false禁用时间服务。

有关更多详细信息,请访问https://issues.apache.org/jira/browse/SPARK-15343