我最近在kafka-node上工作。我有些疑惑:
以下是该场景:我说了10个主题,每个主题都接收数据,卷数很高,每条消息大约300KB,每秒5条消息。
现在我想创建一个高级消费者/消费者,以便有效地阅读数据。
我尝试使用一个组ID在所有10个主题上创建一个高级消费者。它适用于小体积,但在体积增加时表现得很奇怪。
所以,我打算做以下事情:
1. Create 10 consumers, one for each topic all having different group id.
2. Create 10 consumers with same group id, one for each topic
我想了解群组ID的重要性。上述情况下的行为如何。
我们还有最大尺寸的kafka可以处理吗?