我可以使用多少生产者来写一个主题

Question

我有一个将消息放入Kafka主题的Web应用程序。这个应用程序有很多实例（200），每个实例都包含它自己的Kafka Producer。

问题：

1. 每个主题是否存在生产者数量的上限？
2. 制片人的数量是否会影响卡夫卡的表现？如果是，怎么样？
3. 制片人的最佳做法是什么？每个应用程序一个同步生成器，异步生成器或同步生成器的自定义池？

Answer 1

  

每个主题是否存在生产者数量的上限？

我所知道的唯一限制是可用IP地址的数量。您不太可能在所描述的应用程序中遇到任何实际限制。

  

制片人是否会影响卡夫卡的表现？如果是，怎么样？

不，所有其他条件相同（流量，异步与同步（包括批量大小/时间限制）等）。

据推测，这里有一些用于连接的开销，但它足够小，以至于我从来没有注意到它。

  

什么是Producer最佳实践（每个应用程序一个同步生产者，异步生产者或同步生成器的自定义池）

取决于你的用例，我不清楚。在大多数情况下，异步＆gt;同步。如果您选择使用异步，那么您必须处理批处理生产者的风险（即数据丢失），以及与为批处理构建足够的消息/等待批处理超时触发相关的延迟。如果您的用例要求足够，那么这些延迟可能会很严重。