关于Yarn错误的Spark-submit YarnConfiguration.useHttps NoSuchMethodError

时间:2016-07-05 18:25:44

标签: apache-spark apache-spark-sql

我正在对纱线进行火花提交,我得到以下错误。我知道我做错了什么?

16/07/05 14:21:49 INFO spark.SparkContext:成功停止了SparkContext 16/07/05 14:21:49 INFO yarn.ApplicationMaster:使用FAILED取消注册ApplicationMaster(诊断消息:用户类抛出异常:java.lang.NoSuchMethodError:org.apache.hadoop.yarn.conf.YarnConfiguration.useHttps(Lorg /阿帕奇/ hadoop的/ CONF /配置;)Z) 16/07/05 14:21:49 INFO remote.RemoteActorRefProvider $ RemotingTerminator:关闭远程守护进程。 16/07/05 14:21:49 INFO remote.RemoteActorRefProvider $ RemotingTerminator:远程守护程序关闭;进行冲洗远程运输。 16/07/05 14:21:49 INFO impl.AMRMClientImpl:等待应用程序成功取消注册。 16/07/05 14:21:49 INFO remote.RemoteActorRefProvider $ RemotingTerminator:Remoting关闭。

1 个答案:

答案 0 :(得分:0)

经过多次努力,我发现,问题是我正在构建包含火花的所有依赖项的超级jar。当我构建没有依赖项的包并且依赖的jar在spark提交期间被添加为--jars时,问题就解决了。似乎大多数时候可以通过这种方法解决NoSuchMethodError或ClassNotFoundException等问题。