如何使用Cloudera Manager在单个节点上运行多个Flume代理?

时间:2017-03-14 12:02:30

标签: flume cloudera-manager

我在我的CDH5.8.0集群上安装了Flume。水槽代理位于Flume任务运行的单个节点上。我使用linux终端ro通过flume运行两个sepate数据,并使用单独的configuartion文件。

我想通过Cloudera Manager监控两个摄取过程。虽然CM中的水槽配置面板提供了添加自定义配置属性的选项,但这适用于单个水槽代理。

我无法通过CM在同一台主机上添加另一个水槽代理。如何使用Cloudera Manager监控两个摄取过程?

1 个答案:

答案 0 :(得分:1)

如果您只能监控单个Flume代理,我认为您可以将两个代理配置文件合并为一个,以便运行单个Flume代理(您可以监控的代理)。

您可以根据需要声明任意数量的来源,渠道和接收器:

a1.sources = r1 r2
a1.sinks = k1 k2
a1.channels = c1 c2

然后适当地绑定它们:

a1.sources.r1.channels = c1
a1.sources.r2.channels = c2
...
a1.sinks.k1.channel = c1
a1.sinks.k2.channel = c2