绕过火花中scala 2.10的22个参数的限制

Question

我的目标是开发Spark Streaming应用程序，我需要使用各种案例，主要超过22个字段..我也使用kryo序列化器..我想知道什么是覆盖这个限制的最佳选择..

我想使用元组，但是如果我在Spark中进行序列化时这是有效的吗？

Answer 1

创建更多案例类并将它们组合在一起，而不是只有一个大案例类：

case class A(b: B, c: C)
case class B(...)
case class C(...)

因此A最终通过其他案例类包含超过22个字段。

Answer 2

无法使用Kryo序列化程序对案例类进行序列化，您必须为此目的使用常规类，如：

class A extends Serializable{

  var a:String = ""
  var b:String = ""
  //....
  var z:String = ""
}