重新设置主题对Kafka消费者的性能影响是什么?

时间:2018-09-07 15:58:02

标签: apache-kafka

用例:我们有一个紧凑的主题,该主题将使用UUID来跟踪订单的生命周期。

我们的某些服务需要一次知道给定帐户有多少个订单,以提供警报和指标(使用Kafka Streams KTables)。但是,由于我们使用UUID进行键控,因此记录将跨主题分区生成,而不是位于同一位置。

我的团队的建议是使用自定义分区类,以便我们可以将UUID用作记录键,但将帐户ID值用于哈希算法以生成记录。

但是我们的devOps /支持团队担心对自定义分区类(例如Mirror Maker)的工具支持会搞砸位于其中的分区记录。

对于需要将该数据并置的服务,我们可以使用Kafka流重新密钥逻辑,它将内部主题中的数据重新密钥到该服务,但是据我所知,它会对性能产生影响。是否有明确的方法知道会产生什么样的影响?这是否意味着我们对每条记录的处理时间都是两倍?

0 个答案:

没有答案