是否可以基于事件时间过滤和更新KTable?

时间:2018-10-02 15:52:15

标签: apache-kafka apache-kafka-streams

我的用例:

  • 接收过去(最长4年),当前和未来事件时间的邮件。
  • 时间戳格式为YYYY-MM-DD(即截断为午夜)
  • 使用自定义时间戳提取器获取邮件的嵌入式时间戳。
  • groupBy UserId和reduce组,以接收此时每个用户(<Instant.now)的最新(最大时间)事件。
  • 将更新后的快照写到数据库或其他存储中。
  • 在条件futureEventTime < Instant.now为真并且将来可以使用以前的“不可见”消息进行处理时,自动更新KTable。

如果我理解正确,那么KTable仅在主题中的新消息上进行更新,而我每天至少需要更新一次,以使现有消息(具有将来的事件时间)可用。

我的用例是否可以通过Kafka Streams实施而无需手动触发或发送虚拟消息来重新处理KTable?

0 个答案:

没有答案