如何将RDD转换为POJO的另一个Java列表?

时间:2019-05-19 07:31:29

标签: java apache-spark

输入是RDD,期望的输出是Java列表POJO

从SQL提供类似的示例:

select col1, col2, col3, sum(col4) from table
group by col1, col2, col3;

对于Java Spark来说是全新的,到目前为止,它已经可以访问tuple2了:

JavaPairRDD<Tuple2<Integer, String>, Integer> pairRDD = 
    rdd.mapToPair(e -> new Tuple2<>(new Tuple2<>(e.getCol1(), e.getCol2()), e.getCol3()))
       .reduceByKey((v1, v2) -> v1 + v2);

如何使用此PairRDD创建具有密钥和求和值属性的Java POJO列表?

0 个答案:

没有答案