Spark,可解决254个案例类别的限制

时间:2018-12-20 06:39:08

标签: scala apache-spark jvm apache-spark-dataset case-class

我有一个包含数百个字段的表。超过案例类允许的最大字段数。这是因为,如果不将通用数据框保留为行编码,就不可能将其转换为具有254个以上字段的数据集。

.as[CaseClassNeed > 254 Fields] crashes due to JVM exception

人们做了些什么来解决此问题?是开始以嵌套方式将字段分组在一起的唯一方法吗?我想避免这种情况,因为从某种意义上讲,这会导致可用性问题,而现在已经有依赖于case类的代码不使用嵌套字段了。

0 个答案:

没有答案