BatchInfo中numRecords的含义是什么?

时间:2016-07-10 20:06:06

标签: apache-spark spark-streaming

我在本地模式下运行Spark Streaming,通过从磁盘读取文件并将它们推送到属于queueStream的SynchronizedQueue将数据推入流中。

但是,如果我使用StreamingListener来捕获BatchInfo并打印numRecords方法的返回值,则它总是为0。

我对此感到困惑,因为如果我打印流的内容,请使用例如打印方法,我看到它实际上并不是空的。

示例输出:

Number of Records: 0 //printed by the StreamingListener
-------------------------------------------
Time: 1468180140000 ms
-------------------------------------------
[D@2630210a
[D@2fff9ea2
[D@5b5153cd
[D@3854e691
[D@27185f49
[D@fb2b862
[D@1e6731fb
[D@7c4ab411
[D@25f701b
[D@47b8fdd4
...

也许我理解"记录"是错的?或者是否有一些错误阻止它在本地模式或使用queueStreams正常工作?

0 个答案:

没有答案