导入spark.implicits时发现错误

Question

我正在使用spark 1.4.0

当我尝试使用此命令导入spark.implicits时： import spark.implicits._，出现此错误：

<console>:19: error: not found: value spark
   import spark.implicits._
          ^

有人可以帮我解决这个问题吗？

Answer 1

这是因为SparkSession可以从Spark 2.0中获得，spark值是Spark REPL中SparkSession类型的对象。

在Spark 1.4中使用

import sqlContext.implicits._

在Spark REPL for Spark 1.x

中自动创建值sqlContext

Answer 2

要使其完整，首先必须创建一个sqlContext

import org.apache.spark.{SparkConf, SparkContext}
import org.apache.spark.sql.SQLContext

val conf = new SparkConf().setMaster("local").setAppName("my app")
val sc = new SparkContext(conf)
val sqlContext = new SQLContext(sc)
import sqlContext.implicits._