Scala火花数据帧分组与字段合并

时间:2016-07-12 04:46:35

标签: scala cassandra spark-dataframe spark-cassandra-connector

我有5行数据框:

[user,sun,MainTest2,end,false]
[user,sun,MainTest2,start,false]
[user,sun,MainTest,end,true]
[user,sun,MainTest,start,true]
[user,sun,MainTest,start,true]

我想要实现的是2个聚合行,文本合并在4个字段上:

[user,sun,MainTest2,end#some_union_symbol#start,false]
[user,sun,MainTest,end#some_union_symbol#start#some_union_symbol#start,true]

我想我需要做一些关于减少的事情,但不太确定。 谢谢!

1 个答案:

答案 0 :(得分:0)

我可以找到所有堆栈中只有一个Answer并使用我的1.4.1 spark。

抱歉,双重发布