我们有一个kafka主题,可读取来自事务性生产者的消息。我们希望将kafka connect使用者设置为仅读取已提交的消息。
由于我刚接触Kafka,因此在此设置方面我需要专家的帮助。根据我的初步研究,我了解我需要在kafka属性中设置隔离。level = read_committed。
现在我有以下问题
我们在/ confluent / bin文件夹中放置了kafka shell脚本。我的理解是我需要通过调用这些Shell脚本来执行命令。
请让我知道是否需要更多信息。
任何帮助将不胜感激。谢谢!!!
答案 0 :(得分:0)
Is this the correct property that I am referring?
-是
How can I test after setting this up my Kafka connector is reading only committed messages?
-您可以简单地用Java编写一个kafka生产者,该生产者通过两个不同的事务(T1中的m1和T2中的m2)发布两个消息。中止事务T1并提交事务T2。在您的已提交读入连接器中,您应该只会看到m2,而不会看到m1。
Through command line can I see what is the (LSO) Last Stable Offsetid?
-如果稳定地表示您上次读取的提交偏移量,我认为是不可能的。您可以按照此处的说明获取最后的偏移量:Number of commits and offset in each partition of a kafka topic