可以进行结构化流的QueueStream吗?

时间:2019-01-10 12:31:10

标签: apache-spark spark-structured-streaming

使用dStreams,来自官方文档:

  

RDD作为流的队列:用于测试Spark Streaming应用程序   利用测试数据,您还可以基于以下队列创建DStream:   使用streamingContext.queueStream(queueOfRDDs)的RDD。每个RDD推送   进入队列将被视为DStream中的一批数据,并且   像流一样处理。

那么,对于结构化流,我可以还是不能将QueueStream用作输入?

在《结构化流媒体指南》 2.3或2.4中找不到任何内容。

我确实记录了 memoryStream 。这是要走的路?我认为是这样,如果是这样,为什么QueueStream不再是一个选择?

我已经将QueueStreams作为输入转换为Memory Stream,并且可以正常工作,但这是必需的吗?

1 个答案:

答案 0 :(得分:0)

我的理解是,对于结构化流,我不能使用QueueStream-因为它是dStream。

使用结构化流模拟流输入确实可以与memoryStream一起使用。