Spark数据集类型注释支持

Question

给出一个带有类型注释@Bar的简单案例类：

case class Foo(
  field: Option[String] @Bar
)

在运行时使用以下堆栈跟踪将RDD[Foo]转换为Dataset[Foo]失败：

User class threw exception: scala.MatchError: scala.Option[String] @Bar (of class scala.reflect.internal.Types$AnnotatedType)
at org.apache.spark.sql.catalyst.ScalaReflection$$anonfun$org$apache$spark$sql$catalyst$ScalaReflection$$serializerFor$1.apply(ScalaReflection.scala:483)
at ...

此问题的票证已打开（SPARK-27625）。但是，有解决方法吗？

使用spark 2.3.2

Answer 1

无框架库支持类型注释。