JavaPairDStream中的最后一批批量

Question

我有一个简单的Spark Streaming应用。 我与JavaPairDStreams合作。我想知道是否可以获得最后一批批量。我需要它来完成我在JavaPairDStream的每个Tuple2上执行的操作。 JavaPairDStream.count()方法不起作用，因为它只返回long的JavaDStream，而我只需要最后一批的大小。

提前谢谢。

Answer 1

您需要访问底层的rdd并对其进行计数。

dstream.foreachRDD( rdd -> 
   long batchSize = rdd.count();
   ...
)