使用dStreams,来自官方文档:
RDD作为流的队列:用于测试Spark Streaming应用程序 利用测试数据,您还可以基于以下队列创建DStream: 使用streamingContext.queueStream(queueOfRDDs)的RDD。每个RDD推送 进入队列将被视为DStream中的一批数据,并且 像流一样处理。
那么,对于结构化流,我可以还是不能将QueueStream用作输入?
在《结构化流媒体指南》 2.3或2.4中找不到任何内容。
我确实记录了 memoryStream 。这是要走的路?我认为是这样,如果是这样,为什么QueueStream不再是一个选择?
我已经将QueueStreams作为输入转换为Memory Stream,并且可以正常工作,但这是必需的吗?
答案 0 :(得分:0)
我的理解是,对于结构化流,我不能使用QueueStream-因为它是dStream。
使用结构化流模拟流输入确实可以与memoryStream一起使用。