Spark kryo序列化寄存器Datatype []

Question

要强制spark使用kryo序列化，可以设置以下选项spark.kryo.registrationRequired。

如何注册org.apache.spark.sql.types.DataType[]？

Class is not registered: org.apache.spark.sql.types.DataType[]

抛出异常。但尝试注册classOf[org.apache.spark.sql.types.DataType[]]将无法编译

Answer 1

我对java和scala数组符号感到困惑。

classOf[Array[org.apache.spark.sql.types.DataType]] 

是正确的注册。

尽管如此，这是一个火花内部类，应该已经由spark注册。