如何用不同版本的json4s-jackson构建Spark?

时间:2015-09-03 14:04:07

标签: intellij-idea apache-spark pom.xml spark-streaming

我使用Spark 1.4.1,Maven和IntelliJ IDEA 14.1.4。

找到这个问题后Is it possible to use json4s 3.2.11 with Spark 1.3.0?我意识到为了在我的Spark流应用程序中使用json4s-jackson_2.10:3.2.11功能,我需要在pom文件中使用更新的json4s版本重建Spark。

我该怎么做?

1 个答案:

答案 0 :(得分:1)

更改core/pom.xml,使其引用3.2.11(not 3.2.10 as it's now)并按Building Spark中所述构建Spark。

至于它如何更改你的应用程序,你应该使用适当的版本provided添加Spark和json4s的依赖项(因为它们带有Spark并且在运行时由提供由Spark提供)