编写具有稳定但可调整输出的Apache Kafka制作人的最佳方法是什么。
示例:生产者应该向代理发送恒定的1000条消息/秒。在运行期间,输出应可调整为10或10000条消息/秒。
一种方法是设置一个每秒运行一次的调度程序,批量发送预定义的消息量。
添加:由于此生产者应该是性能测试框架的一部分,因此需要发送的消息量非常高。如何处理非常高的负载?使用Akka是否有益?
目标语言是Scala,但非常欢迎使用任何语言的示例代码。
答案 0 :(得分:0)
在java中,这可以通过在生产者代码中使用guava的RateLimiter来实现,其中你可以定义生产者可以向kafka经纪人发送消息的速率。