spark 2.1.1:解析的JSON值与类构造函数不匹配

时间:2017-07-24 07:11:45

标签: json apache-spark jackson spark-streaming json4s

spark 2.1.1json4s.jackson我有一个奇怪的问题。

我从spark 1.5.1升级了我的流媒体项目。现在,当我在IDE中执行代码时,一切正常。

但在assembly和代码独立执行后spark-submit

我收到以下错误

Caused by: org.json4s.package$MappingException: Parsed JSON values do not match with class constructor
args=
arg types=
constructor=  

My Environemnt:

  
      
  • spark = 2.1.1,
  •   
  • scala = 2.11,
  •   
  • json4s-杰克逊= 3.2.11
  •   

之前有人遇到过同样的问题吗?如果是的话,你是怎么解决的?

非常感谢。

2 个答案:

答案 0 :(得分:1)

似乎像以下链接中的json4s-jackson bug搜索“Parsed JSON值与类构造函数不匹配”

https://recordnotfound.com/json4s-json4s-3177/issues

你需要修改你的json

答案 1 :(得分:0)

升级到最新的Spark vesrion 2.2.x解决了这个问题。看起来Spark 2.1.x中的错误现在在Spark 2.2.x中得到修复