Apache spark 2.2是否支持用户定义类型（UDT）？

Question

从这个JIRA票证Hide UserDefinedType in Spark 2.0 ，似乎spark隐藏了版本2.0中的UDT API。

我们可以在2.2版中使用替代函数或API，以便我们可以定义UserDefinedType吗？我希望在数据帧或结构化流媒体中使用自定义类型。

Answer 1

没有其他API，UDT仍为私有（https://issues.apache.org/jira/browse/SPARK-7768）。

通用Encoders（org.apache.spark.sql.Encoders.kryo和org.apache.spark.sql.Encoders.javaSerialization）在Dataset中提供类似用途，但没有直接替换：

• How to store custom objects in Dataset?
• Questions about the future of UDTs and Encoders