将函数应用于DataFrame行并转换回DataFrame Spark / Scala

时间:2018-01-19 18:41:54

标签: scala apache-spark dataframe rdd

我很难将函数映射到数据帧的行,然后将其转换回新的数据帧。

到目前为止我已经

  val intrdd = df.rdd.map(row => processRow(row))

  val processeddf = intrdd.toDF

但是这不起作用,因为toDF对我的RDD [Row]情况不起作用。

有没有好办法呢?

注意我在Spark 2.2.0上,所以我不能使用SqlContext,只能使用SparkSession。

感谢。

0 个答案:

没有答案