计算Apache Spark DStream中的元素

时间:2016-03-14 12:09:32

标签: java apache-spark spark-streaming

我需要使用Java在DStream中检索元素数量。阅读文档我做了类似以下的事情:

JavaDStream<Object> stream;

stream.count()

它返回一个DStream对象而不是一个数字

如何获取DStream中的元素数量?我需要在测试套件中

2 个答案:

答案 0 :(得分:1)

你做不到。 DStream表示无限的RDD序列,因此询问元素的总数并不是真正有意义的。

您可以添加有状态操作,这些操作将跟踪值的数量并按窗口更新,但它与要求对流进行计数不同。您可以查看MapWithStateSuite以了解如何实施测试状态。

答案 1 :(得分:0)

synchronized