Kafka连接以仅读取已提交的消息

时间:2020-10-06 01:43:26

标签: apache-kafka kafka-consumer-api apache-kafka-connect

我们有一个kafka主题,可读取来自事务性生产者的消息。我们希望将kafka connect使用者设置为仅读取已提交的消息。

由于我刚接触Kafka,因此在此设置方面我需要专家的帮助。根据我的初步研究,我了解我需要在kafka属性中设置隔离。level = read_committed。

现在我有以下问题

  1. 这是我要引用的正确属性吗?
  2. 设置此设置后,我如何测试我的Kafka连接器仅读取已提交的邮件?
  3. 通过命令行我可以看到什么是(LSO)上一个稳定偏移量?

我们在/ confluent / bin文件夹中放置了kafka shell脚本。我的理解是我需要通过调用这些Shell脚本来执行命令。

请让我知道是否需要更多信息。

任何帮助将不胜感激。谢谢!!!

1 个答案:

答案 0 :(得分:0)

Is this the correct property that I am referring?-是

How can I test after setting this up my Kafka connector is reading only committed messages?-您可以简单地用Java编写一个kafka生产者,该生产者通过两个不同的事务(T1中的m1和T2中的m2)发布两个消息。中止事务T1并提交事务T2。在您的已提交读入连接器中,您应该只会看到m2,而不会看到m1。

Through command line can I see what is the (LSO) Last Stable Offsetid?-如果稳定地表示您上次读取的提交偏移量,我认为是不可能的。您可以按照此处的说明获取最后的偏移量:Number of commits and offset in each partition of a kafka topic