输入是RDD
,期望的输出是Java列表POJO
从SQL提供类似的示例:
select col1, col2, col3, sum(col4) from table
group by col1, col2, col3;
对于Java Spark来说是全新的,到目前为止,它已经可以访问tuple2了:
JavaPairRDD<Tuple2<Integer, String>, Integer> pairRDD =
rdd.mapToPair(e -> new Tuple2<>(new Tuple2<>(e.getCol1(), e.getCol2()), e.getCol3()))
.reduceByKey((v1, v2) -> v1 + v2);
如何使用此PairRDD
创建具有密钥和求和值属性的Java POJO
列表?