Question

请在下面找到两个服务器中kafka consumer和kafka producer的配置

消费者（C）：

<int-kafka:message-driven-channel-adapter
    id="inAdapter"
    channel="fromKafka"
    connection-factory="connectionFactory"
    key-decoder="kafkaKeyDecoder"
    payload-decoder="kafkaDecoder"                              
    topics="sample_intopic"
    offset-manager="offsetManager"
/>

制片人（P）：

<int-kafka:producer-context id="producerContext" producer-properties="producerProperties">
    <int-kafka:producer-configurations>
    <int-kafka:producer-configuration
        broker-list="${kafka.producer.config.brokerList}"
        topic="headers['topic']"
        key-class-type="java.lang.String"
        value-class-type="com.XX.XX.vo.MesgeContentVO"
        value-encoder="kafkaEncoder"
        key-encoder="kafkaKeyEncoder"
        compression-type="none"
     />
     </int-kafka:producer-configurations>
     </int-kafka:producer-context>
 />

我正在服务器1和服务器2中部署相同的kafka使用者（C）和kafka生产者（P）连接到同一个kafka经纪人。

每当我在服务器1中生成一条消息时，它就会被消耗四次（获得4条消息）。我的要求是生成的消息应该只消耗一次。

这里发生的事情是：假设通过调用applicaton.send（消息）发送消息;

            P,C                   P,C
            server s1           server s2

因此，两个P都充当生产者，并且每个人都将其传递给自己和其他消费者的消费者，因此，

             P in s1 sending to -->C in s1 and C in s2
             P in s2 sending to-->C  in s2 and C in S1

因此，1条消息产生2次并消耗4次。

我想知道，有什么方法我们可以限制它，一旦消息被生成/消费，如果它第二次到同一个生产者/消费者，我们可以唯一地识别它并避免产生/消费它以上配置。

在多集群环境中多次生成/使用同一消息

0 个答案: