扩展Spark数据集

时间:2019-02-12 22:20:15

标签: scala apache-spark apache-spark-dataset

我想通过向Apache Spark中添加一些属性来扩展Dataset类。假设我们要拥有NamedDataset。唯一的区别是NamedDataset的实例具有一个string字段,该字段定义该特定数据集的名称。以下是我尝试的无法编译的解决方案:

class NamedDataset2[A : Encoder](prev: Dataset[A], name: String) extends Dataset[A](prev.sparkSession, prev.queryExecution, implicitly[Encoder[A]]) {

}

编译器无法解析构造函数。我已经为构造函数提供了必要的参数。

完成此任务的推荐方法是什么?

0 个答案:

没有答案