卡夫卡消息消费和处理的延迟

时间:2018-07-23 11:10:09

标签: java apache-kafka

我有一个项目,工作流程说;将请求作为来自其他微服务的kafka事件使用,然后将该事件再次发布到项目中,并听其处理该请求。

ex:微服务-A已与请求正文一起发布kafka事件。 微服务-B已经消耗了该事件。微服务-B再次发布了该请求供内部使用。现在最后,微服务-B已使用该事件来对其进行处理。

问题是,在msg发布和使用之间存在很大的延迟。有时,当多个请求到来时,它需要5到6秒钟来监听事件。

域发布者属性:

domainEvent.publisher.poller.fixed.delay=1000
domainEvent.publisher.poller.receive.timeout=0
domainEvent.publisher.outbound.channel.order=1
domainEvent.publisher.queue.buffering.max.ms=500
domainEvent.publisher.topic.metadata.refresh.interval.ms=3600000
domainEvent.publisher.queue.buffering.max.messages=10000
domainEvent.publisher.retry.backoff.ms=100
domainEvent.publisher.message.send.max.retries=2
domainEvent.publisher.send.buffer.bytes=5242880
domainEvent.publisher.socket.request.max.bytes=104857600
domainEvent.publisher.socket.receive.buffer.bytes=1048576
domainEvent.publisher.socket.send.buffer.bytes=1048576
domainEvent.publisher.request.required.acks=1
domainEvent.publisher.executor.pool.size=10
domainEvent.publisher.executor.keep.alive=120
domainEvent.publisher.executor.queue.capacity=200

域订户属性:

domainEvent.subscriber.zookeeper.connection.timeout=10000
domainEvent.subscriber.zookeeper.session.timeout=10000
domainEvent.subscriber.zookeeper.sync.time=2000
domainEvent.subscriber.poller.fixed.delay=100
domainEvent.subscriber.poller.max.message=10
domainEvent.subscriber.consumer.timeout=5000
domainEvent.subscriber.consumer.max.message=5000
domainEvent.subscriber.auto.offset.reset=smallest
domainEvent.subscriber.socket.receive.buffer.bytes=10485760
domainEvent.subscriber.fetch.message.max.bytes=5242880
domainEvent.subscriber.auto.commit.interval.ms=1000
domainEvent.subscriber.executor.pool.size=50
domainEvent.subscriber.executor.keep.alive=120
domainEvent.subscriber.executor.queue.capacity=300

0 个答案:

没有答案