Question

我一直在尝试使用flume ng（flume-ng-1.2.0 + 24.81-1~lucid）并且一直在比较内存通道和文件通道的性能。

我的测试系统中的每个事件大小都是1KB，使用我当前的配置，我可以使用内存通道处理大约30,000个EPS。但是，当使用文件通道时，我只能处理大约1600 EPS。

平均而言，我希望在我的生产系统上平均获得2500 EPS，并且我想使用文件通道在接收器发生故障的情况下提供大约1小时的事件缓冲（我正在使用HDFS接收器与hadoop集群的1Gbps连接）。

这是我的文件频道配置：

agent.channels.c1.checkpointDir = ~/.flume/file-channel/checkpoint
agent.channels.c1.dataDirs = ~/.flume/file-channel/data
agent.channels.c1.transactionCapacity = 13107200
agent.channels.c1.checkpointInterval = 30000
agent.channels.c1.maxFileSize = 9216000000
agent.channels.c1.minimumRequiredSpace = 524288000
agent.channels.c1.capacity = 9000000
agent.channels.c1.keep-alive = 3
agent.channels.c1.write-timeout = 3
agent.channels.c1.checkpoint-timeout = 600
agent.channels.c1.use-log-replay-v1 = FALSE
agent.channels.c1.use-fast-replay = FALSE

我的HDFS接收器的批量大小已设置为5000.

有人可以就如何改善文件频道的性能提出任何建议吗？

谢谢

Answer 1

版本1.2.0 非常奇数。当前版本是1.3.1。

那就是说，后备箱是1.4.0-SNAPSHOT并且〜可能会在6月底发布。我相信FileChannel在那个时候有一些更新，所以你可能想要使用它的构建重新测试。（mvn install -Dmaven.test.skip=true是你的朋友）。

其次，您是否考虑将checkpointDir和dataDirs指向自己的磁盘？

Flume NG FileChannel非常慢

1 个答案: