我在我的CDH5.8.0集群上安装了Flume。水槽代理位于Flume任务运行的单个节点上。我使用linux终端ro通过flume运行两个sepate数据,并使用单独的configuartion文件。
我想通过Cloudera Manager监控两个摄取过程。虽然CM中的水槽配置面板提供了添加自定义配置属性的选项,但这适用于单个水槽代理。
我无法通过CM在同一台主机上添加另一个水槽代理。如何使用Cloudera Manager监控两个摄取过程?
答案 0 :(得分:1)
如果您只能监控单个Flume代理,我认为您可以将两个代理配置文件合并为一个,以便运行单个Flume代理(您可以监控的代理)。
您可以根据需要声明任意数量的来源,渠道和接收器:
a1.sources = r1 r2
a1.sinks = k1 k2
a1.channels = c1 c2
然后适当地绑定它们:
a1.sources.r1.channels = c1
a1.sources.r2.channels = c2
...
a1.sinks.k1.channel = c1
a1.sinks.k2.channel = c2