Apache Kafka中每个分区的单个编写器要采取哪些步骤来实现一次性的消息传递语义？

Question

Apache Kafka中每个分区的单个写入器要采取哪些步骤才能实现一次性的消息传递语义？

我们如何设置或配置或编程以实现一次性的消息传递语义？

Answer 1

Kafka本身只保证至少一次语义。准确地建立一次是很困难的。目前的一个提议是幂等生产者：https://cwiki.apache.org/confluence/display/KAFKA/Idempotent+Producer

因此，目前还没有配置完成一次。

如果你想在Kafka之上自己构建一些完全一次写入的东西，你需要类似于唯一的消息ID，并且在恢复时，你需要在崩溃之前读取写入主题的所有消息删除上次成功写入的消息以恢复正常生成。

但是，这仍然不是一次性的端到端，而只是一次制作人一次。不确定这是否适合您的用例。