优化Kafka配置

时间:2018-08-05 19:39:45

标签: apache-kafka apache-zookeeper jmx

我已经阅读了很多有关正确配置Kafka并分析其指标的文章,但我感到有些失落,非常感谢一些建议。 我对Kafka消息代理还不很熟悉,所以我正在尝试优化现有的默认Kafka群集配置,因为我怀疑默认配置不足以供将来使用,而且我认为在高峰期性能会有所下降。

集群是一个 Kafka经纪人和Zookeper ,具有默认配置,大约7-8个Java应用程序,它们是生产者/消费者(有时两者) )。
我通过 JMX 监视了Kafka代理,发现吞吐量非常低(每秒几条消息,大约〜400 byteInPerSec 〜40字节bytesOutPerSec ),大约有100个不同的主题(主要是流主题),每个主题仅一个分区,消费者之间也没有并发,我也注意到kafka请求处理程序池大部分是空闲的(这意味着它几乎不起作用)。

我真的不知道是否应该增加分区数量并让使用者并发,如果我增加到数量? bytesInPerSec和bytesOutPerSec之间有一个奇怪的区别,如前所述,几乎是 x10 ,是否会因为流而发生? 我还要提到的是,Kafka当前运行的是 1G RAM,而Zookeper运行的是 512MB ,该计算机中有更多资源,因此我可以给它们提供更多的资源,我不是真的知道我是否应该。
最后几个问题,我的案例是否有一些基本的良好配置? 如果我使用流来提高性能,是否应该使用一些特殊的配置? 还有其他我应该关注的 JMX 指标吗?

非常感谢您的帮助!

0 个答案:

没有答案