在将spark 1.6.2迁移到spark 2.2时会出现编码器异常

时间:2019-01-14 14:12:33

标签: scala apache-spark apache-spark-dataset

从1.6.2迁移到2.2时出现以下两个异常

无法找到数据集中存储的类型的编码器。导入sqlContext.implicits支持基本类型(Int,String等)和产品类型(案例类)。_在将来的版本中将添加对序列化其他类型的支持

方法平面图的参数不足:(隐式证据$ 8:org.apache.spark.sql.Encoder [org.apache.spark.sql.Row])org.apache.spark.sql.Datset [org.apache。 spark.sql.Row]未指定的值参数证据$ 8。

我的代码如下所示

val gdprMapDataset = BDMLUtil.convertDatasetListToCaseClass(gdprPrsVerHbaseDs,BDMLConstants.BD_GDPR_NOTIFICATION,parsingException,currTimeArg,sparkSession)

val gdprFlatMap = gdprMapDataset.flatMap(f => f)

gdprMapDataset返回类型为Dataset [ListBuffer [BD_GDPR_NOTIFICATION]]

您能帮我什么吗,请告知我是否需要其他信息。

0 个答案:

没有答案