Question

我将一个csv文件读到RDD并尝试将其转换为DataFrame。但是，它通过错误。

scala> rows.toDF()
<console>:34: error: value toDF is not a member of org.apache.spark.rdd.RDD[Array[String]]
              rows.toDF()

scala> rows.take(2)       
    Array[Array[String]] = Array(Array(1, 0, 3, "Braund, ...

我做错了什么？

Answer 1

当您想要将RDD转换为DataFrame时，您需要创建一个SQLContext并导入它的隐式函数，如@ zero323建议。

import sqlContext.implicits._
rows.toDF

如果您的RDD是RDD [Row]，则需要以下内容

import org.apache.spark.sql.Row
rows.map(Row.fromSeq(_)).toDF

将RDD转换为Dataframe

1 个答案: