在火花流scala中按键分组后排序

时间:2017-04-23 09:50:12

标签: scala sorting apache-spark spark-streaming

我有这个数据流:

1    a    12
2    b    13
1    d    14
3    f    14
2    a    15
.
..
...

在spark spark中,我想首先拆分行,然后按键(第一个元素1,2,3)对它们进行分组,然后按最后一个元素(即12,13,14,15)对每个元组进行排序。我怎么能在Scala中使用Spark流? 我的代码现在:

val ssc = new StreamingContext(sc, Seconds(1))
val lines = ssc.socketTextStream("localhost", 9999)
val cases = lines.map {
item =>
(item.split("\t")(0),(item.split("\t")(1),item.split("\t")(2)))}
val results = cases.groupByKey()

如何在按键分组后按item.split("\t")(2)排序?

0 个答案:

没有答案