使用自定义案例类的JSON映射在spark shell

时间:2016-12-14 15:45:44

标签: scala apache-spark apache-zeppelin fasterxml

我想用scala案例类进行json映射,就像在这里完成一样:https://github.com/databricks/learning-spark/blob/master/src/main/scala/com/oreilly/learningsparkexamples/scala/BasicParseJsonWithJackson.scala

在"正常"在我的集群上运行的Spark作业。但是,如果我想在Zeppelin笔记本或Spark shell中执行此操作,我会收到以下错误:

com.fasterxml.jackson.databind.JsonMappingException: No suitable constructor found for type [simple type, class MyCaseClassName]: can not instantiate from JSON object (missing default constructor or creator, or perhaps need to add/enable type information?)

您是否知道问题是什么以及如何解决?

编辑:我使用以下版本: Spark 2.0.2 Zeppelin 0.6.2 斯卡拉2.11 Spark集群和zeppelin在Google Container Engine(Kubernetes)上运行。但正如我之前提到的,这个问题也出现在本地Spark shell上。所以我认为它独立于Zeppelin版本和Spark运行时环境。

0 个答案:

没有答案