如何在Java中对Spark Streaming代码进行单元测试

时间:2017-01-18 20:33:27

标签: java apache-spark spark-streaming

JavaStreamingContext.queueStream() Javadoc声明:

  

创建流后对队列的更改将无法识别

因此,使用队列来测试Java中基于窗口的场景不是一种选择,而不是Scala,因为在Spark消耗它时,元素必须以特定的速率添加到队列中。 除了使用文件或套接字之外,如何在不使用丑陋的变通方法的情况下实现这一目标?

0 个答案:

没有答案