我需要设置3个节点Kafka群集，其中30个主题连接到源DB的数量。我不确定要处理的确切消息数量，但我想每天会有数百万消息。
Kafka主题和数据的保留时间设置为30天。如果需要，我应该能够回到30天前的数据。
你能告诉我应该怎么做。
非常感谢
答案 0 :(得分：1)
设置：您可以按照给定文档中的说明设置多代理群集。 https://kafka.apache.org/quickstart#quickstart_multibroker
在3节点群集中，您应为主题配置3个代理和3个zookeeper节点以及复制因子3。根据您的要求/用例，每个主题可以有3个或更多分区。
保留：您可以使用log.retention.hours定义保留策略 https://kafka.apache.org/documentation/#brokerconfigs
您应该收集有关如何生成和使用数据的更多信息。根据您在消费者方面的处理逻辑，每个分区消耗一百万条消息不应该是大问题。但是，您可以为并行处理添加更多分区并提高吞吐量。
你应该在你的问题中具体说明，但我试过并希望这有帮助！