Question

JavaRDD<String> history_ = sc.emptyRDD();

java.util.Queue<JavaRDD<String> > queue = new LinkedList<JavaRDD<String>>();
queue.add(history_);
JavaDStream<String> history_dstream = ssc.queueStream(queue);

JavaPairDStream<String,ArrayList<String>> history = history_dstream.mapToPair(r -> {
  return new Tuple2< String,ArrayList<String> >(null,null);
});  

 JavaPairInputDStream<String, GenericData.Record> stream_1 =
    KafkaUtils.createDirectStream(ssc, String.class, GenericData.Record.class, StringDecoder.class,
        GenericDataRecordDecoder.class, props, topicsSet_1);


JavaPairInputDStream<String, GenericData.Record> stream_2 =
    KafkaUtils.createDirectStream(ssc, String.class, GenericData.Record.class, StringDecoder.class,
        GenericDataRecordDecoder.class, props, topicsSet_2);

然后进行一些转换并创建类型为

的twp DStream Data_1和Data_2

JavaPairDStream<String, <ArrayList<String>>

并按如下所示进行连接，然后过滤掉那些没有加入密钥的记录，并将它们保存在历史记录中，以便通过与Data_1联合使用它在下一批中使用

 Data_1 = Data_1.union(history);

JavaPairDStream<String, Tuple2<ArrayList<String>, Optional<ArrayList<String>>>> joined =
    Data_1.leftOuterJoin(Data_2).cache();


JavaPairDStream<String, Tuple2<ArrayList<String>, Optional<ArrayList<String>>>> notNULL_join = joined.filter(r -> r._2._2().isPresent());
JavaPairDStream<String, Tuple2<ArrayList<String>, Optional<ArrayList<String>>>> dstream_filtered = joined.filter(r -> !r._2._2().isPresent());

history = dstream_filtered.mapToPair(r -> {
  return new Tuple2<>(r._1,r._2._1);
}).persist;

我在上一步之后获得了历史记录（通过将其保存到hdfs进行检查），但在进行联合时，此历史记录仍然是空的。

Answer 1

概念上不可能“记住”DStream。 DStreams是有时间限制的，并且在每个时钟标记（称为“批处理间隔”）上，DStream 表示在该时间段内流中观察到的数据。

因此，我们无法保存“旧”DStream以加入“新”DStream。所有DStreams都住在“现在”。

DStreams的基础数据结构是RDD：每个批处理间隔，我们的DStream将有1 RDD个数据。 RDD代表分布式数据集合。只要我们引用它们，RDD是不可变的和永久的。

我们可以合并RDD和DStream来创建此处所需的“历史记录翻转”。

它看起来与问题上的方法非常相似，但仅使用history RDD。

以下是建议更改的高级视图：

var history: RDD[(String, List[String]) = sc.emptyRDD()

val dstream1 = ...
val dstream2 = ...

val historyDStream = dstream1.transform(rdd => rdd.union(history))
val joined = historyDStream.join(dstream2)

... do stuff with joined as above, obtain dstreamFiltered ...

dstreamFiltered.foreachRDD{rdd =>
   val formatted = rdd.map{case (k,(v1,v2)) => (k,v1)} // get rid of the join info
   history.unpersist(false) // unpersist the 'old' history RDD
   history = formatted // assign the new history
   history.persist(StorageLevel.MEMORY_AND_DISK) // cache the computation
   history.count() //action to materialize this transformation
}

这只是一个起点。有关checkpoint的其他注意事项。否则history RDD的谱系将无限增长，直到发生一些StackOverflow。这个博客在这个特殊技术上非常完整：http://www.spark.tc/stateful-spark-streaming-using-transform/

我还建议您使用Scala而不是Java。 Java语法太冗长，无法与Spark Streaming一起使用。

无法持久保存DStream以用于下一批

1 个答案: