我需要对一种输入为DStream[String]
的方法进行单元测试。所以我打算创建一个DStream[String]
,然后用一些字符串填充它。
我首先使用了一个类似的问题,在这里已经问过:
Programatically creating dstreams in apache spark
我写道:
val inputData: mutable.Queue[RDD[String]] = mutable.Queue()
val inputStream: InputDStream[String] = streamingContext.queueStream(inputData)
inputData += sparkContext.parallelize(Seq("Test1"))
inputData += sparkContext.parallelize(Seq("Test2"))
val iDStream = inputStream.cache()
println("Size is: "+iDStream.count())
iDStream.foreachRDD(rdd => println(rdd))
streamingContext.start()
但是什么也没打印。我想念什么?