Scala类型别名scala.util.Either到Apache Spark DataSet

时间:2019-01-24 10:04:29

标签: scala apache-spark

我正在使用Hadoop和Apache Spark创建新的Blockchain Server,我将其验证为对象,但问题是转换为某些Spark数据类型。

我已导入import spark.implicits._Encoders.kryo[ObjectName]

  object ObjectAliases {
    type ObjectAlias = Either[AA, BB]
  }

  trait CC {
    def aa: String
  }

  case class AA(aa: String) extends CC
  case class BB(aa: String, bb: Int) extends CC

  import spark.implicits._

  val obj: ObjectAlias = Right(BB("Unit test", 1))
  val seq: Seq[ObjectAlias] = Seq(obj)

  spark.sqlContext.udf.register("udfObject", seq)

我希望注册set of udfObject之类的东西,但是却出现错误java.lang.UnsupportedOperationException: Schema for type scala.util.Either[AA,BB] is not supported

关于如何验证此数据类型是否有任何想法。谢谢。

0 个答案:

没有答案