更改Kafka Streams上的键但推送到新主题时,是否发生数据分区?

时间:2018-11-14 16:11:47

标签: apache-kafka apache-kafka-streams

我正在阅读Filebeat Json的一个中心主题文档。

基于文件源/路径进行过滤

flatMap消息字段,该消息字段是经过编码的Json,并将其序列化为Json并提取密钥(是的,我知道我可能在这里拥有json解码异常,为此我将输出空记录)。

推送到新主题。


如果消息正确解析并且我得到了密钥并将其输出到新主题,会引起重新分区吗?

基本上,我正在对一个单独的主题进行无状态的“移动/复制”。

1 个答案:

答案 0 :(得分:0)

如果您使用selectKey(...)并发布结果KStream,则它不会对流进行重新分区。

如果将基于键的运算符(例如聚合或联接)应用于结果KStream,则可能导致内部数据重新分配。