从外部系统发送到Kafka,交易中没有重复

时间:2019-04-18 05:22:10

标签: apache-kafka

我需要使用一个语义将数据从外部系统发送到Kafka主题。 源有一个偏移量,我们可以使用给定偏移量的消息。

看看Kafka文档,我发现有两种方法可以做到这一点。

  1. Kafka源连接器
  2. 在交易中使用普通的Kafka生产者。

选项1似乎现在不完全支持一次语义,Kafka jira 6080未解决。我也想了解我们如何直接使用生产者API来做到这一点。 对于选项2,所有文档中的(消费,转换,生产)循环使用AddOffsetsToTxn显示使用方的提交偏移量。如果来源不是Kafka主题,推荐的策略是什么?看起来像在事务中将源偏移量写在另一个主题中,然后在恢复期间使用它就可以了。这是推荐的方法吗?

0 个答案:

没有答案