运行spark流时NoSuchMethodError

时间:2016-03-11 11:58:07

标签: twitter spark-streaming fasterxml

Exception in thread "main" java.lang.NoSuchMethodError:                                                                                         
   com.fasterxml.jackson.module.scala.deser.BigDecimalDeserializer$.handledType()Ljava/lang/Class;

我正在创建一个使用twitter作为源的简单火花流应用程序。但是遇到这个错误。我正在使用spark 1.6.0和scala 2.10.4。

1 个答案:

答案 0 :(得分:1)

此异常通常表示您在运行时可以使用该库的多个版本,并且所选择的版本不是您所依赖的版本。也许两个库被编译成超级罐。

为避免这种情况,您可以通过spark.executor.extraClassPathspark.driver.extraClassPath明确指定JAR版本,从而优先使用您的JAR版本。可以在Spark Configuration

中阅读更多内容