spark 2.1.1
和json4s.jackson
我有一个奇怪的问题。
我从spark 1.5.1
升级了我的流媒体项目。现在,当我在IDE中执行代码时,一切正常。
但在assembly
和代码独立执行后spark-submit
我收到以下错误
Caused by: org.json4s.package$MappingException: Parsed JSON values do not match with class constructor
args=
arg types=
constructor=
My Environemnt:
- spark = 2.1.1,
- scala = 2.11,
- json4s-杰克逊= 3.2.11
之前有人遇到过同样的问题吗?如果是的话,你是怎么解决的?
非常感谢。
答案 0 :(得分:1)
似乎像以下链接中的json4s-jackson bug搜索“Parsed JSON值与类构造函数不匹配”
https://recordnotfound.com/json4s-json4s-3177/issues
你需要修改你的json
答案 1 :(得分:0)
升级到最新的Spark vesrion 2.2.x解决了这个问题。看起来Spark 2.1.x中的错误现在在Spark 2.2.x中得到修复