如何制作可重启的生产者?

时间:2019-02-05 22:33:09

标签: apache-kafka kafka-consumer-api

kafka的最新版本支持完全一次语义(EoS)。为了支持此概念,将额外的详细信息添加到每条消息。这意味着您的消费者;如果您打印邮件的偏移量,它们不一定是顺序的。这使得轮询主题以阅读最后提交的消息变得更加困难。

在我的情况下,消费者打印出这样的内容

Offset-0 0
Offset-2 1
Offset-4 2

问题:为了编写可重启的骄傲者;我轮询主题并阅读上一条消息的内容。在这种情况下;最后一条消息将是offset#5,这不是有效的使用者记录。因此,我在代码中看到错误。

我可以使用Getting the last message sent to a kafka topic中提供的解决方案。唯一的问题是,而不是使用Consumer.seek(partition,last_offset = 1);我会使用Consumer.seek(partition,last_offset-2)。这样可以立即解决我的问题,但这不是理想的解决方案。

对于用Java编写的消费者而言,获取上一次提交的消息的最可靠,最佳的解决方案是什么?

是否可以将local state-store用于分区? OR

最推荐的存储最后一条消息以防止生产者失败的方法是什么?

kafka连接器是否可以重新启动?我可以使用任何特定的API使生产者重新启动吗?

仅供参考-我不需要快速解决方法

1 个答案:

答案 0 :(得分:0)

就我而言,多个生产者将数据推送到一个大话题上。因此,阅读整个主题将是一场噩梦。

我找到的解决方案是维护另一个主题,即“ P1_Track”,生产者可以在其中存储元数据。在交易中,制作人会将数据发送到一个大主题和P1_Track。

当我重新启动制作器时,它将读取P1_Track并找出从哪里开始。

考虑将最后提交的消息存储在数据库中,并在生产者进程重新启动时使用它。