如何FlatMap或爆炸数据框Spark

时间:2018-12-11 18:59:09

标签: python apache-spark pyspark apache-spark-sql

我正在尝试将pyspark中的以下输入数据帧转换为如下所示的输出数据帧。我正在尝试做平面图,但无法获得所需的结果。有人可以帮我设计解决方案吗??

Input Dataframe
col1   col2   col3   col4  col5
 1      a      aa     ba    ca
 2      b      ab     bb    cb

Output DataFrame
col1 col2  column_name  column_value
 1    a     col3            aa
 1    a     col4            ba
 1    a     col5            ca
 2    b     col3            ab
 2    b     col4            bb
 2    b     col5            cb

0 个答案:

没有答案