Question

我有一个Kafka主题t1而不是包含100条消息。在flatMapValues（）操作之后，结果被写入第二个主题t2。当我运行以下内容时：

new ObjectID(req.params.id)

计数的最终值是100，这是预期的。

但是，当我对包含500条消息的主题应用相同的逻辑（flatMapValues（）+写入另一个主题+按键分组）时，count的最终值略大于500。带有10K消息的主题差距越来越大。

可能是什么问题？

Answer 1

如果由于至少一次实现而存在任何重复项，则应解决您的问题。尝试将配置仅设置一次，我想这将解决您的问题。这样可以确保您的每条记录都会被处理一次。