将某些配置单元列扩展(转换)为行(记录)

时间:2018-06-20 15:56:12

标签: apache-spark dataframe hive apache-spark-sql transpose

是否有一种有效的方法来转换下面显示的目标配置单元。源表中的列数约为1500。 使用spark 2.0,将源和目标作为数据框。

(id,   dt ,       source1_ColA, source1_ColB, source2_ColA, source2_ColB)
------------------------------------------------------------

(10,"2018-06-01",   10,             9,          5,          8       )

(20,"2018-06-01",   20,             12,         16,         11      )

列A,B的转换如下所示 目标表

(id, dt ,   element_name,  source1,  source2 )
---------------------------------------

(10,"2018-06-01",   ColA    ,     10    ,   5       )

(10,"2018-06-01",   ColB    ,      9    ,   8       )

(20,"2018-06-01",   ColA    ,     20    ,   16      )

(20,"2018-06-01",   ColB    ,     12    ,   11      )

0 个答案:

没有答案