如何将DS()注入Seq对象

时间:2018-04-05 09:42:05

标签: scala apache-spark

如果您在序列上调用toDS(),通常在Scala中,您会得到:

error: value toDS is not a member of Seq[Int]

但是,在SparkSession中,您可以在Seq上调用相同的方法,并创建一个DataSet。

这个MetaProgramming究竟是如何发生的?

1 个答案:

答案 0 :(得分:2)

它来自SparkSession.implicits

import org.apache.spark.sql.SparkSession

val spark = SparkSession.builder.getOrCreate()
import spark.implicits._