卡夫卡迟到消息处理

时间:2020-04-10 02:05:38

标签: apache-kafka

作为Kafka的新手,我们试图根据以下详细信息来了解延迟到达的记录。请帮助我们解决以下问题。

  1. 要处理延迟到达记录,可以选择什么时间参数来确定我们可以等待多长时间?
  2. 如果当时也没有到达记录,那将是什么情况?记录将被丢弃以进行处理吗?

1 个答案:

答案 0 :(得分:2)

进行时间序列分析的消费者是唯一关心时间的人。卡夫卡没有。

例如,假设您有一个设备在飞行模式下发布某些游戏的指标,并且该设备将在本地缓存数据,直到重新连接网络为止。

在这种情况下,您将同时收集事件最初在脱机时发生的时间以及记录到达Kafka的时间。

主题仅是附加的,因此您的分析只能投影进入系统的数据,并且分析取决于发现原始事件的最短时间范围。