Spark流媒体kafka偏移确认 - 可能存在差距吗?

时间:2017-04-05 12:27:30

标签: apache-kafka spark-streaming

让我说我有window2 - > window1(window1在window2之前)。 假设偏移量相应地为:(start2,end2)和(start1,end1)。

由于每个窗口处理可能需要不同的时间,因此window2可能会在window1之前完成处理。然后:

1)window2进程将end2偏移提交给Kafka

2)window1处理失败

接下来会发生什么?会在start1和start2之间引发流式跳过数据?它是如何工作的?

0 个答案:

没有答案