Question

我有一个运行Hadoop yarn 2.7.2的集群，为Spark 1.6.2启用了动态分配。

是否有官方方式支持Spark 1.6.2和2.0.0？因为当我尝试从Spark 2.0.0客户端提交应用程序时，异常发生在驱动程序中，如下所示：

Exception in thread "main" java.lang.NoSuchMethodError: org.apache.spark.network.util.JavaUtils.byteStringAs(Ljava/lang/String;Lorg/apache/spark/network/util/ByteUnit;)J
    at org.apache.spark.internal.config.ConfigHelpers$.byteFromString(ConfigBuilder.scala:63)
    at org.apache.spark.internal.config.ConfigBuilder$$anonfun$bytesConf$1.apply(ConfigBuilder.scala:197)
    at org.apache.spark.internal.config.ConfigBuilder$$anonfun$bytesConf$1.apply(ConfigBuilder.scala:197)
    at org.apache.spark.internal.config.TypedConfigBuilder.createWithDefaultString(ConfigBuilder.scala:131)
    at org.apache.spark.internal.config.package$.<init>(package.scala:41)
    at org.apache.spark.internal.config.package$.<clinit>(package.scala)
    at org.apache.spark.deploy.yarn.ApplicationMaster.<init>(ApplicationMaster.scala:69)
    at org.apache.spark.deploy.yarn.ApplicationMaster$$anonfun$main$1.apply$mcV$sp(ApplicationMaster.scala:785)
    at org.apache.spark.deploy.SparkHadoopUtil$$anon$1.run(SparkHadoopUtil.scala:71)
    at org.apache.spark.deploy.SparkHadoopUtil$$anon$1.run(SparkHadoopUtil.scala:70)
    at java.security.AccessController.doPrivileged(Native Method)
    at javax.security.auth.Subject.doAs(Subject.java:422)
    at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1657)
    at org.apache.spark.deploy.SparkHadoopUtil.runAsSparkUser(SparkHadoopUtil.scala:70)
    at org.apache.spark.deploy.yarn.ApplicationMaster$.main(ApplicationMaster.scala:784)
    at org.apache.spark.deploy.yarn.ApplicationMaster.main(ApplicationMaster.scala)

Answer 1

Hortonwork的HDP发行版支持此功能，我有一个运行HDP 2.5的集群，它支持Centos7上的Hadoop 2.7.3，Spark 1.6.2和2.0.0。

使用Spark和Spark2作业时，我没有遇到任何问题。

您是如何安装和配置两个Spark版本的？您可以尝试HDP sandbox并使用Spark作为灵感来源。 Spark2已为您自己的群集配置。

有没有官方的方法来支持Hadoop yarn 2.7.2集群上的Spark 1.6.2和2.0.0？

1 个答案: