什么是改善水槽性能的指导方针

Question

我有一个用例，我必须在HDFS中传输一百万或更多文件。文件大小可以从10kb到50kb不等。

我正在使用假脱机目录源和HDFS接收器和文件通道。

我也在使用BLOB deserilizer，因为我不想破坏我的源数据。应该将传输完成文件作为我能够实现的事件。 到目前为止，我的水槽代理设计看起来像这样 - my flume agent design

我仍然无法获得良好的表现。

我还想了解hadoop集群配置是否有助于提高性能？

Answer 1

AFAIK，性能调整没有灵丹妙药。像往常一样，您需要根据您的数据和基础设施进行实验和学习。以下文章讨论了可用于微调Flume性能的各种旋钮（和一般指导）： Cloudera - Flume Performance Tuning，DZone - Flume Performance Tuning