我们正在研究可优化磁盘空间使用情况的选项。这样做时,我们正在查看kafka分区保留的磁盘空间。现在,错误主题使用与原始主题相同数量的分区。我们实际上并不需要分区错误主题,并且kafka为每个分区分配了大量空间。
问题是,是否可以使用最近引入的配置dlqProducerProperties
为dlq设置较低的分区数?
当我们将较少的分区数入侵到代码中时,我们遇到了一个问题,即消息无法移至dlq,因为目标分区不匹配。我猜想原始消息的分区索引已被重用以将其移动到dlq目标(到相同的分区索引)中,但是它只有1个分区,而不是9个分区。这是kafka客户端还是春季云流的局限性?
答案 0 :(得分:0)
活页夹当前将分区1:1映射到DLQ主题;这是为了保留订单(针对那些关心的用户)。
在Spring for Apache Kafka项目(由活页夹使用)中,the DeadLetterPublishingRecoverer
has a configurable destination resolver允许将死信发送到DLQ主题中的其他分区。
但是,活页夹当前未使用它(在核心项目中,死信早于支持)。