标签: apache scala
这是SPARK-SQL特有的挑战,我无法应用两个突出显示的答案
我在SPARK-SQL中编写复杂的数据处理逻辑。
以下是我遵循的流程
我遇到了一个问题,因为Scala只允许22个参数,而我的表有50列。我能想到的唯一方法是打破数据集,使其具有22个参数,并在最后结合它们。它看起来不像一个干净的方法。有没有更好的方法解决这个问题?
答案 0 :(得分:2)
切换到Scala 2.11,案例类字段限制消失。 Release notes。 Issue