如何测试apache flume负载均衡 - Sink组

Question

我是apache flume的新手，我已经手动配置了具有接收器组负载平衡的单层代理，我想知道如何测试接收器组负载均衡？任何想法的人

Answer 1

您可以定义两个不同的接收器，并在接收器组中提及它们，如下所示

agent1.sinkgroups = g1
agent1.sinkgroups.g1.sinks = HDFS1 HDFS2
agent1.sinkgroups.g1.processor.type = load_balance
agent1.sinkgroups.g1.processor.backoff = true
agent1.sinkgroups.g1.processor.selector = round_robin

这两个都是HDFS接收器。

您可以提及过程选择器（round_robin [default]，随机或自定义选择器），它定义了如何在两个接收器之间平衡负载。

运行代理时，您可以看到两个不同的数据集存储在两个相应的HDFS路径（接收器）中。

其他两个可选参数是退避和selector.maxTimeOut

您可以参考此链接获取更多信息Flume 1.6.0 User Guide