我需要使用Java在DStream中检索元素数量。阅读文档我做了类似以下的事情:
JavaDStream<Object> stream;
stream.count()
它返回一个DStream对象而不是一个数字
如何获取DStream中的元素数量?我需要在测试套件中
答案 0 :(得分:1)
你做不到。 DStream
表示无限的RDD序列,因此询问元素的总数并不是真正有意义的。
您可以添加有状态操作,这些操作将跟踪值的数量并按窗口更新,但它与要求对流进行计数不同。您可以查看MapWithStateSuite
以了解如何实施测试状态。
答案 1 :(得分:0)
synchronized