来自offset的JavaPairInputDstream流

Question

我在使用火花直接传输时试图将我的偏移保存到zookeeper。我看到 JavaInputDstream API有一个从特定偏移量开始的选项，但是我需要它用于 JavaPairInputDstream 我们可以用它来获取JavaPairInputDstream，因为我认为它不是可在API中找到

JavaInputDStream<String>  messages = KafkaUtils.createDirectStream(jsc, String.class,
                            String.class, StringDecoder.class, StringDecoder.class, String.class, kafkaParams, offsets,(messageAndMetadata) -> messageAndMetadata.message());

但是我使用的JavaPairInputDstream没有这个偏移量

Answer 1

我在直接流中进行了转换并映射到键值对。

  final JavaPairDStream<String, String> messages2 =messages.transformToPair(pairRdd -> {

                            pairRdd.mapToPair(label->new Tuple2<>(label,label))};);