Yarn上的Spark-submit会在spark.network.util.JavaUtils.byteStringAs

时间：2017-10-02 03:18:54

标签： maven apache-spark yarn

Spark提交结果为NoSuchMethodError。

Spark Submit

./bin/spark-submit --master yarn --deploy-mode cluster 
                   --class batch.BatchJob /vagrant/spark-lambda-1.0-SNAPSHOT-shaded.jar 
                   --conf userClassPathFirst=true --verbose

错误

17/10/01 01:21:31错误yarn.ApplicationMaster：用户类扔了 exception：java.lang.NoSuchMethodError： org.apache.spark.network.util.JavaUtils.byteStringAs（Ljava /郎/字符串; Lorg /阿帕奇/火花/网络/ util的/ ByteUnit;）.J java.lang.NoSuchMethodError： org.apache.spark.network.util.JavaUtils.byteStringAs（Ljava /郎/字符串; Lorg /阿帕奇/火花/网络/ util的/ ByteUnit;）.J 在 org.apache.spark.internal.config.ConfigHelpers $ .byteFromString（ConfigBuilder.scala：66）在 org.apache.spark.internal.config.ConfigBuilder $$ anonfun $ bytesConf $ 1.适用（ConfigBuilder.scala：228）在 org.apache.spark.internal.config.ConfigBuilder $$ anonfun $ bytesConf $ 1.适用（ConfigBuilder.scala：228）在 org.apache.spark.internal.config.TypedConfigBuilder.createWithDefault（ConfigBuilder.scala：142）在org.apache.spark.sql.internal.SQLConf $。（SQLConf.scala：158）在org.apache.spark.sql.internal.SQLConf $。（SQLConf.scala）at at org.apache.spark.sql.internal.StaticSQLConf $（StaticSQLConf.scala：31）。在 org.apache.spark.sql.internal.StaticSQLConf $（StaticSQLConf.scala）在 org.apache.spark.sql.SparkSession $ Builder.enableHiveSupport（SparkSession.scala：843）在batch.BatchJob $ .main（BatchJob.scala：81）at batch.BatchJob.main（BatchJob.scala）at sun.reflect.NativeMethodAccessorImpl.invoke0（Native Method）at sun.reflect.NativeMethodAccessorImpl.invoke（NativeMethodAccessorImpl.java:62）在 sun.reflect.DelegatingMethodAccessorImpl.invoke（DelegatingMethodAccessorImpl.java:43）在java.lang.reflect.Method.invoke（Method.java:497）at org.apache.spark.deploy.yarn.ApplicationMaster $$匿名$ 2.run（ApplicationMaster.scala：558）

0 个答案:

没有答案