Spark Streaming:坚持不工作

时间:2016-05-24 21:15:26

标签: apache-spark spark-streaming

我有两个流。 Stream1通常只在第一批接收数据。 Stream2不断接收数据。我想将外连接Stream2留给Stream1收到的所有数据。我尝试了以下方法,但它没有考虑Stream1中收到的以前批次。

val s1 = ssc.receiverStream(new CustomReceiver(1005))
val s1p = s1.map...
val s2 = ssc.receiverStream(new CustomReceiver(1006)).persist()
val s2p = s2.map....persist()
val joined = s2p.leftOuterJoin(s1p)

在日志中,我看到有关从持久性列表中删除Stream2的RDD的消息。

0 个答案:

没有答案