评估Spark中的多个元素或键值

时间:2016-05-29 16:03:16

标签: scala apache-spark apache-spark-sql

我的输入数据样本如下(国家,区域,温度)

Ind,Z1,10
Jap,Z2,20
Ind,Z1,30
Ind,Z2,10
Jap,Z1,20

要求是总计各个区域的温度。

输出应该像

Ind,Z1,40
Ind,Z2,10
Jap,Z1,20

....等等 我知道我们可以简单地过滤掉Country并用reduceByKey(区域是关键)总结每个区域的温度,但我不想这样做。

我们如何使用RDD或数据框来实现这一目标? 因为我们的数据应该根据国家(区域,温度)进行评估

我不确定如何使用键值对并为Country评估它们。

1 个答案:

答案 0 :(得分:1)

在原型Pauls建议((k1,k2),v)之后很简单

<script src="https://ajax.googleapis.com/ajax/libs/jquery/1.11.1/jquery.min.js"></script>
<div class="a">Hello</div>
<input id="b" type="button" value="Change" />

谢谢!