使用Kafa Rest和Python时丢失消息

时间:2018-12-19 15:39:21

标签: python cron apache-kafka kafka-rest

我有一个Python应用程序,该应用程序运行基于cron表达式的函数。 该函数应使用Kafka Rest组件按特定主题从Kafka集群中获取消息,处理消息本身并返回。 我期望每次调用该函数时都会消耗掉上一次调用该函数时产生的所有消息,但是有时会丢失一些消息。有时一切正常。

我使用kafka rest项目中的文档配置了使用者,将 auto.offset.reset 设置为最早。使用者的创建和订阅发生在应用程序启动时,不再执行,而每次CRON表达式调用该函数时,它都会继续获取新记录。

想法?

FB

0 个答案:

没有答案