fromOffset / untilOffset / offset.count与RDD分区中的总记录的差异

时间:2016-11-05 22:04:03

标签: apache-spark apache-kafka spark-streaming

我的Spark-kakfa流逻辑看起来像这样......

当我查看偏移和记录时,在使用foreach循环时,分区的offset.count()和实际打印的总数记录有所不同。(在RDD分区上)。

这些计数与我的逻辑不一致。

有人可以指导我纠正我的逻辑。???

{{1}}

0 个答案:

没有答案