创建并填充DStream [String]以进行测试

时间:2019-02-18 07:03:07

标签: scala apache-spark spark-streaming rdd

我需要对一种输入为DStream[String]的方法进行单元测试。所以我打算创建一个DStream[String],然后用一些字符串填充它。

我首先使用了一个类似的问题,在这里已经问过:

Programatically creating dstreams in apache spark

我写道:

val inputData: mutable.Queue[RDD[String]] = mutable.Queue()
val inputStream: InputDStream[String] = streamingContext.queueStream(inputData)

inputData += sparkContext.parallelize(Seq("Test1"))
inputData += sparkContext.parallelize(Seq("Test2"))

val iDStream = inputStream.cache()

println("Size is: "+iDStream.count())

iDStream.foreachRDD(rdd => println(rdd))

streamingContext.start()

但是什么也没打印。我想念什么?

0 个答案:

没有答案