用于生成高速日志的任何工具或实用程序

时间:2013-10-01 04:21:03

标签: logging hadoop flume

我们正在开发大数据项目,我们需要为Flume集群调整大小。 Flume集群将收集以15 mBps(每秒兆字节数)生成的日志。 为了模拟这种情况,我们需要一个实用程序/工具,它可以以此速度(或缩小速度)生成日志。 如果现有工具可用,请告诉我。

1 个答案:

答案 0 :(得分:0)

我从Twitter Iago得到了很好的结果。

  • 它读取日志以获取样本数据,以便您可以发送实际的生产数据。
  • 它使用Poisson / Exponential分布,因此请求之间的时间是随机的 - 就像生产一样。
  • 它可以按设定的速率发送,并可以使用更多的负载生成服务器来达到该速率。