KafkaStreams:仅转发来自Transformer的更新密钥

时间:2018-07-09 12:37:43

标签: apache-kafka streaming apache-kafka-streams

在我的KafkaStreams应用程序中,我有一个注册的本地存储(简单计数器),该存储已通过transform方法进行了更新。

punctuate方法中,我基本上遍历了KV存储并将所有数据推送到输出主题(因此,即使值尚未更新)。

一个想法是为每个键存储更新时间戳记,并仅转发自上次punctuate调用以来已更新的记录。

但是我认为应该有一个更方便的解决方案。

如何提高性能并仅转发更新的条目?

1 个答案:

答案 0 :(得分:1)

正如Matthias的评论所指出的那样,目前不支持跟踪记录的更新。

您可以使用以下方法来更新值中的时间戳(或创建一个包含您可以修改的时间戳的“ Value Wrapper”对象),并检查自上次打孔调用以来是否发生了更新。

-比尔