我在spark 2.0.0上测试了我的火花代码,我遇到了一个错误SPARK-17463,我想使用spark 2.1.0,因为这个版本修复了错误。
但是,我无法为spark 2.1.0提供带有客户端模式的spark-shell
我需要在HDP 2.5.3群集上使用2.1.0。
它抛出异常:
Supplier
答案 0 :(得分:14)
我在EMR中遇到了与spark-submit相同的问题,将$ jersey-bundle-1.19.1.jar添加到$ SPARK_HOME / jars后,问题得到了解决。
您可以从此处下载:http://repo1.maven.org/maven2/com/sun/jersey/jersey-bundle/1.19.1/jersey-bundle-1.19.1.jar
答案 1 :(得分:2)
在spark-defaults.conf中添加以下参数,然后重新启动Spark历史记录服务器。
spark.hadoop.yarn.timeline-service.enabled false
答案 2 :(得分:1)
YARN时间服务与Spark提供的库不兼容。请通过设置spark.hadoop.yarn.timeline-service.enabled=false
禁用时间服务。
有关更多详细信息,请访问https://issues.apache.org/jira/browse/SPARK-15343