我有两个流。 Stream1通常只在第一批接收数据。 Stream2不断接收数据。我想将外连接Stream2留给Stream1收到的所有数据。我尝试了以下方法,但它没有考虑Stream1中收到的以前批次。
val s1 = ssc.receiverStream(new CustomReceiver(1005))
val s1p = s1.map...
val s2 = ssc.receiverStream(new CustomReceiver(1006)).persist()
val s2p = s2.map....persist()
val joined = s2p.leftOuterJoin(s1p)
在日志中,我看到有关从持久性列表中删除Stream2的RDD的消息。