将数据框转换为地图

时间:2019-04-03 17:07:29

标签: scala apache-spark

我有一个spark数据框,我想将该数据框转换为key:value对。我需要一种scala方式。 enter image description here

1 个答案:

答案 0 :(得分:0)

请尝试以下操作:

val temp = df.collect.map(r => Map(r(0).toString +"-"+ r(1).toString -> r.toSeq.slice(2,r.length)))
temp.flatten

这将首先收集数据框为地图数组,键为-城市,值作为行中其余元素的数组。