标签: scala apache-spark jvm apache-spark-dataset case-class
我有一个包含数百个字段的表。超过案例类允许的最大字段数。这是因为,如果不将通用数据框保留为行编码,就不可能将其转换为具有254个以上字段的数据集。
.as[CaseClassNeed > 254 Fields] crashes due to JVM exception
人们做了些什么来解决此问题?是开始以嵌套方式将字段分组在一起的唯一方法吗?我想避免这种情况,因为从某种意义上讲,这会导致可用性问题,而现在已经有依赖于case类的代码不使用嵌套字段了。