Kafka C API客户端中的发送方线程数

Question

我在Linux上使用librdkafka-0.11.5 forC。 我的C / C ++应用程序只是将Kafka数据发送到Web服务器，该服务器通过ElasticSearch驱动Kafka消费者。 在生产方看来，Kafka在每个Unix进程中增加了8（八个）内部线程。 这给我们带来了问题，因为我们对每个Linux机器的线程数有严格的限制。

有人知道为什么要添加8个线程吗？可能是因为我的Linux机器有4个CPU，并且每个CPU预先创建了两个线程的线程池（只是推测）？ 我使用一个主题和六个分区。经纪人字符串包含三个经纪人。

有什么办法可以减少增加的线程数？

关于， 尼克

Answer 1

当前的librdkafka设计为集群中的每个代理创建一个内部线程。

有关更多信息，请参见FAQ。

我们正在考虑将其更改为IO线程或按需代理线程，但这要到2019年才会发生。