Kafka制作人每秒可调整的消息量

时间:2015-12-22 08:32:37

标签: scala akka apache-kafka kafka-producer-api akka-kafka

编写具有稳定但可调整输出的Apache Kafka制作人的最佳方法是什么。

示例:生产者应该向代理发送恒定的1000条消息/秒。在运行期间,输出应可调整为10或10000条消息/秒。

一种方法是设置一个每秒运行一次的调度程序,批量发送预定义的消息量。

添加:由于此生产者应该是性能测试框架的一部分,因此需要发送的消息量非常高。如何处理非常高的负载?使用Akka是否有益?

目标语言是Scala,但非常欢迎使用任何语言的示例代码。

1 个答案:

答案 0 :(得分:0)

在java中,这可以通过在生产者代码中使用guava的RateLimiter来实现,其中你可以定义生产者可以向kafka经纪人发送消息的速率。