我正在尝试在编写火花流单元测试时模拟输入dstream。我能够模拟RDD但是当我试图将它们转换为dstream时,dstream对象将变空。我使用了以下代码 -
val lines = mutable.Queue[RDD[String]]()
val dstream = streamingContext.queueStream(lines)
// append data to DStream
lines += sparkContext.makeRDD(Seq("To be or not to be.", "That is the question."))
对此相关的任何帮助都将受到高度赞赏。