spark kryo注册班失踪

Question

在spark 2.2中通过spark.kryo.registrationRequired", "true"强制进行kryo注册时，我的错误是

Class is not registered: org.apache.spark.sql.catalyst.InternalRow[]

即使使用：

.registerKryoClasses(
          Array(classOf[scala.collection.mutable.WrappedArray.ofRef[_]],
                classOf[org.apache.spark.sql.catalyst.InternalRow])
        )

显然InternalRow[]无法在scala中编译。我在这里缺少什么？

Answer 1

How to register InternalRow with Kryo in Spark正在引导我找到正确的答案。

classOf[Array[org.apache.spark.sql.catalyst.InternalRow]]

是必需的。然而，当你继续前进时，需要增加更多的火花类。