我有一个使用纱线调度程序运行的oozie作业。
我的oozie工作中的两个动作是一个火花作业,然后是一个java作业。
我在我的java程序集jar中的spark assmbly jar和jackson 2.9中有jackson 2.6版本。现在我的火花失败,异常
> java.lang.Exception: Incompatible Jackson version: 2.9.3
> at com.sps.analytics.batch.bi.BatchApp.executeQueries(BatchApp.scala:73)
> at com.sps.analytics.batch.bi.BatchApp$.main(BatchApp.scala:32)
如何强制我的spark应用程序jar使用2.6版本
// https://mvnrepository.com/artifact/com.fasterxml.jackson.core/jackson-databind
dependencyOverrides += "com.fasterxml.jackson.core" % "jackson-databind" % "2.6.5" force()
// https://mvnrepository.com/artifact/com.fasterxml.jackson.core/jackson-annotations
dependencyOverrides += "com.fasterxml.jackson.core" % "jackson-annotations" % "2.6.5" force()
// https://mvnrepository.com/artifact/com.fasterxml.jackson.module/jackson-module-scala
dependencyOverrides += "com.fasterxml.jackson.module" %% "jackson-module-scala" % "2.6.5" force()
// https://mvnrepository.com/artifact/com.fasterxml.jackson.dataformat/jackson-dataformat-yaml
libraryDependencies += "com.fasterxml.jackson.dataformat" % "jackson-dataformat-yaml" % "2.6.5" force()
这就是我在spark build.sbt
中的内容答案 0 :(得分:0)
使Java操作成为子工作流有助于解决问题