模拟输入dstream apache spark

时间:2015-06-25 11:57:36

标签: unit-testing apache-spark spark-streaming rdd dstream

我正在尝试在编写火花流单元测试时模拟输入dstream。我能够模拟RDD但是当我试图将它们转换为dstream时,dstream对象将变空。我使用了以下代码 -

val lines = mutable.Queue[RDD[String]]()
val dstream = streamingContext.queueStream(lines)

// append data to DStream
lines += sparkContext.makeRDD(Seq("To be or not to be.", "That is the question."))

对此相关的任何帮助都将受到高度赞赏。

0 个答案:

没有答案