scala中的case类不接受超过22个参数

时间:2014-08-04 15:18:07

标签: apache scala

这是SPARK-SQL特有的挑战,我无法应用两个突出显示的答案

我在SPARK-SQL中编写复杂的数据处理逻辑。

以下是我遵循的流程

  1. 为包含所有属性的表定义案例类。
  2. 将其注册为表格。
  3. 使用SQLContext查询相同内容。
  4. 我遇到了一个问题,因为Scala只允许22个参数,而我的表有50列。我能想到的唯一方法是打破数据集,使其具有22个参数,并在最后结合它们。它看起来不像一个干净的方法。有没有更好的方法解决这个问题?

1 个答案:

答案 0 :(得分:2)

切换到Scala 2.11,案例类字段限制消失。 Release notesIssue