Spark Scala将文本文件读入DataFrame

Question

我希望读取一个文件并将其存储到DataFrame中。 我正在读取存储到RDD [Array [String]]的文本文件。

val file = sc.textFile("/mockSmall.txt").map(line => line.split(",").map(_.trim))
case class record(eventName: String, date: String, counter: String)
val solrDF: DataFrame = file.map{case Array(s0, s1, s2) => record(s0, s1, s2)}.toDF()

但是，我收到以下编译问题：

值DF不是RDD [记录]

的成员

我该如何解决这个问题？ 注意：我使用的是spark 1.6，因此我没有sparkSession。

Answer 1

你必须导入spark.implicits._，一切都会好起来

编辑：

对于1.6.1用户，请导入sqlContext.implicits._

或者：

使用sqlContext.createDataFrame instead

请提供官方SQL and DataFrames guidline以获取更多信息