对JavaDStream进行排序 - Spark Streaming

Question

我有一个适用于JavaDStreams个对象的应用程序。 这是一段代码，我在其中计算单词出现的频率。

JavaPairDStream<String, Integer> wordCounts = words.mapToPair(
      new PairFunction<String, String, Integer>() {
        @Override
        public Tuple2<String, Integer> call(String s) {
          return new Tuple2<>(s, 1);
        }
      }).reduceByKey(new Function2<Integer, Integer, Integer>() {
        @Override
        public Integer call(Integer i1, Integer i2) {
          return i1 + i2;
        }
      });

现在，如果我希望打印前N个频繁元素，按整数值排序，如果没有像sortByKey这样的方法（对于JavaPairRDD），我怎么能这样做？

Answer 1

如果你有JavaPairDStream<String, Integer>并希望按整数值排序，则必须先交换对。

JavaPairDStream<Integer,String> swappedPair = wordCounts.mapToPair(x -> x.swap());

现在，您可以使用transformToPair进行排序并使用sortByKey功能。

JavaPairDStream<Integer,String> sortedStream = swappedPair.transformToPair(
     new Function<JavaPairRDD<Integer,String>, JavaPairRDD<Integer,String>>() {
         @Override
         public JavaPairRDD<Integer,String> call(JavaPairRDD<Integer,String> jPairRDD) throws Exception {
                    return jPairRDD.sortByKey(false);
                  }
              });

sortedStream.print();

Answer 2

简化：

  JavaPairDStream<String, Long> counts = lines.countByValue();
  JavaPairDStream<Long,String> swappedPair = counts.mapToPair(Tuple2::swap);  
  JavaPairDStream<Long,String> sortedStream = swappedPair.transformToPair(s -> s.sortByKey(false));