可以为Spring Kafka DLQ设置较低的分区数吗?

时间:2019-03-26 14:52:58

标签: spring-cloud-stream spring-kafka

我们正在研究可优化磁盘空间使用情况的选项。这样做时,我们正在查看kafka分区保留的磁盘空间。现在,错误主题使用与原始主题相同数量的分区。我们实际上并不需要分区错误主题,并且kafka为每个分区分配了大量空间。

问题是,是否可以使用最近引入的配置dlqProducerProperties为dlq设置较低的分区数?

当我们将较少的分区数入侵到代码中时,我们遇到了一个问题,即消息无法移至dlq,因为目标分区不匹配。我猜想原始消息的分区索引已被重用以将其移动到dlq目标(到相同的分区索引)中,但是它只有1个分区,而不是9个分区。这是kafka客户端还是春季云流的局限性?

1 个答案:

答案 0 :(得分:0)

活页夹当前将分区1:1映射到DLQ主题;这是为了保留订单(针对那些关心的用户)。

在Spring for Apache Kafka项目(由活页夹使用)中,the DeadLetterPublishingRecoverer has a configurable destination resolver允许将死信发送到DLQ主题中的其他分区。

但是,活页夹当前未使用它(在核心项目中,死信早于支持)。

请打开新功能GitHub issue against the binder