如果我有比消费者更多的分区，我可以丢失消息吗？

Question

我正在通过使用storm-kafka api读取来自kafka主题的消息，包含3个副本和70个分区，我正在使用的kafka spout有15个执行程序，因为我没有70个丢失消息执行人？

如何确保消费者收到kafka中的所有消息？

谢谢

Answer 1

默认情况下，Kafka至少会为您已知道的数据向Kafka提供至少一次交付保证。如果消费者实例的消费者实例少于消费者组的分区，则将根据您的分区分配策略为消费者分配多个分区。默认情况下，它使用RangeAssignor。您可以阅读有关Kafka here的传递语义的更多信息。