我在本地模式下运行Spark Streaming,通过从磁盘读取文件并将它们推送到属于queueStream的SynchronizedQueue将数据推入流中。
但是,如果我使用StreamingListener来捕获BatchInfo并打印numRecords方法的返回值,则它总是为0。
我对此感到困惑,因为如果我打印流的内容,请使用例如打印方法,我看到它实际上并不是空的。
示例输出:
Number of Records: 0 //printed by the StreamingListener
-------------------------------------------
Time: 1468180140000 ms
-------------------------------------------
[D@2630210a
[D@2fff9ea2
[D@5b5153cd
[D@3854e691
[D@27185f49
[D@fb2b862
[D@1e6731fb
[D@7c4ab411
[D@25f701b
[D@47b8fdd4
...
也许我理解"记录"是错的?或者是否有一些错误阻止它在本地模式或使用queueStreams正常工作?