Question

我想创建一个包含ADT列的数据集。基于以下问题：Encode an ADT / sealed trait hierarchy into Spark DataSet column 我知道，有一种用kryo编码的解决方案，但这并没有真正的帮助。还有另一种解决问题的方法，它更好。让我们定义以下ADT：

sealed case class Animal(sound: String)
object Cat extends Animal("miau")
object Dog extends Animal("wuff")

并定义一个使用Animal

的案例类

case class Pet(name: String, sound: Animal)

我现在可以轻松地从Pet中创建数据集

val ds = List(Pet("Tom", Cat), Pet("Beethoven", Dog)).toDS
ds.show()
+---------+------+
|     name| sound|
+---------+------+
|      Tom|[miau]|
|Beethoven|[wuff]|
+---------+------+

请注意，声音是Struct，但是提取元素很简单：

ds.select("name", "sound.*").show()
+---------+-----+
|name     |sound|
+---------+-----+
|Tom      |miau |
|Beethoven|wuff |
+---------+-----+

实际上，这是我要实现的最终结构。我面临两个问题。

通常，从案例类继承不是一个好主意
详尽的模式匹配要求默认情况

问题2的示例：

 def getSound(animal: Animal): String = animal match {
   case Cat => Cat.sound
   case Dog => Dog.sound
   case _ => ""
 }

为解决问题2，我尽管创建了一个密封的抽象类。我也想把它制作成产品

sealed abstract class Animal(sound: String) extends Product
case object Cat extends Animal("miau")
case object Dog extends Animal("wuff")

现在解决了问题2，并且不再需要任何默认情况。但是我无法从Animal创建数据集。我得到以下异常： java.lang.RuntimeException: Error while encoding: java.lang.RuntimeException: Couldn't find sound on class Animal

我真正想要获得的是获得与Option相同的行为。我们可以创建一个包含可选字段的案例类：

case class Person(name: String, age: Option[Int])
List(Person("Jack", Some(26)), Person("Julia", None)).toDS.show()
+-----+----+
| name| age|
+-----+----+
| Jack|  26|
|Julia|null|
+-----+----+

我检查了 Option 的实现，它也是一个密封的抽象类，所以我缺少了什么？选项如何对数据集进行编码？

更新

对不起，用 Option 的最后一部分在这里没有太大意义，因为您需要在其中明确编写要在数据集中最后看到的值。

但是问题仍然存在，如何编码具有正确模式匹配的ADT创建的列。

Answer 1

我缺少的是我的 Animal 类的 apply 方法。

sealed abstract class Animal(val sound: String) extends Product with Serializable
  case object Cat extends Animal(sound = "miau")
  case object Dog extends Animal(sound = "wuff")
  object Animal {
    def apply(animal: Animal): String = animal match {
      case Cat => Cat.sound
      case Dog => Dog.sound
    }
  }

使用此方法，我可以获得几乎想要的结果：

val ds = List(Pet("Tom", Cat), Pet("Beethoven", Dog)).toDS
ds.show()
+---------+------+
|     name| sound|
+---------+------+
|      Tom|[miau]|
|Beethoven|[wuff]|
+---------+------+

Answer 2

sanyi14ka实际上将永远无法工作。

DataSet中的ADT /枚举编码器主题不是新话题，但是直到今天它仍然无法正常工作。

您可能会发现这两个链接很有用：

Encode an ADT / sealed trait hierarchy into Spark DataSet column
我对此主题的回购：https://github.com/atais/spark-enum

在Spark数据集中添加ADT列？

2 个答案: