Question

Spark依赖于json4s 3.2.10，但是这个版本有几个bug，我需要使用3.2.11。我在build.sbt中添加了json4s-native 3.2.11依赖，所有编译都很好。但是，当我点火提交我的JAR时，它为我提供了3.2.10。

build.sbt

import sbt.Keys._

name := "sparkapp"

version := "1.0"

scalaVersion := "2.10.4"

libraryDependencies += "org.apache.spark" %% "spark-core"  % "1.3.0" % "provided"

libraryDependencies += "org.json4s" %% "json4s-native" % "3.2.11"`

plugins.sbt

logLevel := Level.Warn

resolvers += Resolver.url("artifactory", url("http://scalasbt.artifactoryonline.com/scalasbt/sbt-plugin-releases"))(Resolver.ivyStylePatterns)

addSbtPlugin("com.eed3si9n" % "sbt-assembly" % "0.13.0")

App1.scala

import org.apache.spark.SparkConf
import org.apache.spark.rdd.RDD
import org.apache.spark.{Logging, SparkConf, SparkContext}
import org.apache.spark.SparkContext._

object App1 extends Logging {
  def main(args: Array[String]) = {
    val conf = new SparkConf().setAppName("App1")
    val sc = new SparkContext(conf)
    println(s"json4s version: ${org.json4s.BuildInfo.version.toString}")
  }
}

sbt 0.13.7 + sbt-assembly 0.13.0 Scala 2.10.4

有没有办法强制使用3.2.11版本？

Answer 1

我们遇到了类似于Necro描述的问题，但是在构建装配jar时从3.2.11降级到3.2.10并没有解决它。我们最终通过在作业程序集jar中着色3.2.11版本来解决它（使用Spark 1.3.1）：

assemblyShadeRules in assembly := Seq(
  ShadeRule.rename("org.json4s.**" -> "shaded.json4s.@1").inAll
)

Answer 2

我在Spark用户邮件列表中问了同样的问题，并得到了两个答案：如何使它工作：

使用spark.driver.userClassPathFirst = true和spark.executor.userClassPathFirst = true选项，但它仅适用于Spark 1.3，可能需要进行一些其他修改，例如从构建中排除Scala类。
使用json4s 3.2.11版本重建Spark（您可以在core / pom.xml中更改它）

两者都很好，我更喜欢第二个。

Answer 3

这不是您问题的答案，但在搜索我的问题时出现了这个问题。我在json4s的'render'中的formats.emptyValueStrategy.replaceEmpty（value）中得到了NoSuchMethod异常。原因是我用3.2.11构建但Spark连接3.2.10。我降级到3.2.10，我的问题消失了。你的问题帮助我了解发生了什么（Spark正在连接json4s的冲突版本）并且我能够解决问题，所以谢谢。

是否可以将json4s 3.2.11与Spark 1.3.0一起使用？

3 个答案: