如何对Spark Streaming代码进行单元测试？

Question

我使用最新的Spark 1.6.0。

查看另一个stackoverflow帖子How can I make Spark Streaming count the words in a file in a unit test?

我正在尝试使用样本@ https://gist.github.com/emres/67b4eae86fa92df69f61来编写针对spark的样本单元测试。我打算在那之后为我的实际火花应用编写一个单元测试。但是，我无法使用示例@ https://gist.github.com/emres/67b4eae86fa92df69f61。这给了我错误

  

java.lang.IllegalStateException：添加新输入，转换，   启动上下文后的输出操作不受支持   oracle.security.ti.reportgenerator.test.StarterAppTest.testCountWords（StarterAppTest.java:62）

我有什么想法可以解决这个问题吗？

Answer 1

wordCounts.print()之后，您无法在JavaPairDStream wordCounts上you have started streaming context。