我正在使用Kafka Streams创建一个基于Spring的服务,并且注意到当我使用现有的@Bean KStream VS为该流创建流时,存在很大的耗时差异。
假设我有以下代码:
@Autowired
private StreamsBuilder eventsStreamsBuilder;
@Bean("eventsKStream")
public KStream<String, String> eventsKStream() {
KStream<String, String> stream = eventsStreamsBuilder.stream(...);
stream.to("NEW_TOPIC");
return stream;
}
// 1. First approach, create a stream for the "NEW_TOPIC" and filter it
@Bean("eventsFilterKStream")
public KStream<String, String> eventsFilterKStream() {
return eventsStreamsBuilder.stream("NEW_TOPIC",....)
.filter()
}
// 2. Second approach, inject the existing Stream Bean and filter it
@Bean("eventsFilterKStream")
public KStream<String, String> eventsFilterKStream(@Qualifier("eventsKStream") KStream<String, String> eventsKStream) {
return eventsKStream.filter(...);
}
我有一个使用者,正在使用控制台使用者...并且注意到,对于第一种方法,数据到达需要几秒钟,但是在第二种方法中,我立即获得了过滤后的数据!>
能否请您解释一下有什么区别? 为什么第一个方法要花几秒钟的时间才能将消息传递给消费者? 最好的方法是什么?
谢谢!
答案 0 :(得分:0)
方法2更快,因为它向现有的KStream
添加了一个过滤处理器节点,而不是从方法1中的源主题创建全新的KStream
阅读。
这取决于您的拓扑,但是除非有充分的理由,否则我将从#2开始。