我们可以从历史数据创建kafka时间窗口流吗?

时间:2018-02-19 12:57:30

标签: apache-kafka apache-kafka-streams

我有一些历史数据,每条记录都有自己的时间戳。我想阅读它们并将它们提供给kafka主题,并使用kafka流以时间窗口的方式处理它们。

现在的问题是,当我创建kafka流时窗口聚合处理器时,如何告诉kafka在记录中使用timestamp字段来创建时间窗口而不是真实的实时时间?

1 个答案:

答案 0 :(得分:4)

您需要创建一个自定义TimestampExtractor,它将从记录本身中提取值 - 在documentationhere too中有一个示例。我还发现this gist看起来很相似。