在过去10分钟内使用Flink处理kafka消息？

Question

我们正在考虑在过去5到10分钟内使用Flink SQL进行实时kafka数据的临时分析。为此，似乎我们需要扩展Kafka连接器，使其仅在给定的时间内读取消息，然后使用该连接器生成有限的输入源。

我想知道是否有替代方法。任何建议都将受到欢迎。

Answer 1

Flink Kafka连接器以各种方式支持setting the start position，包括myConsumer.setStartFromTimestamp(...)。 Kafka表连接器appears to support these same options。

如果要使用Flink的SQL客户端，则可能需要编写一个精简包装程序来处理10分钟前的时间戳，并相应地设置起始Kafka偏移量。