标签: scala apache-spark dataframe rdd
我很难将函数映射到数据帧的行,然后将其转换回新的数据帧。
到目前为止我已经
val intrdd = df.rdd.map(row => processRow(row)) val processeddf = intrdd.toDF
但是这不起作用,因为toDF对我的RDD [Row]情况不起作用。
有没有好办法呢?
注意我在Spark 2.2.0上,所以我不能使用SqlContext,只能使用SparkSession。
感谢。