filebeat输出到Kafka时如何处理可靠性？

Question

众所周知，Kafka可以在0.11.0.0之后提供一次准确的传递语义。我希望以这种方式将文件信号输出到Kafka。根据{{​​3}}，它需要正确设置一些配置，包括生产者的enable.idempotence，transaction.timeout.ms和transactional.id（即filebeat）。但是即使在KIP 98中也找不到这些配置。因此，我想知道它是否受支持，如果是，该如何实现。

Answer 1

当前，从Filebeat的文档及其周围的资源来看，Filebeat不可能一次发送。目前，它至少使用一次发送，这意味着您将收到1次或多次消息。

尽管Kafka可以支持一次语义，但Filebeat似乎不支持一次语义。 Filebeat将需要实现那些配置以支持精确一次交付。