分离Flume流量

时间:2012-03-13 13:12:25

标签: logging flume

我有两个不同的日志流程,我想在水槽中创建。这些流包含不同的日志消息,单独处理它们会很棒。

拓扑

我的配置如下:

+----+    +-----+
| a0 | -> | dst |
+----+    +-----+
             ^
+----+       |
| a1 | ------+
+----+

a0a1是创建日志的来源。

dst是目标,应记录日志条目(到HDFS)。

配置

以下是flume shell的节点配置:

[flume localhost:35873:45678] getmappings
Master has the following mappings

Physical Node                  --> Logical Node(s)

a0.domain.local                --> [a0, a0.domain.local]
a1.domain.local                --> [a1, a1.domain.local]
dst.domain.local               --> [dst.domain.local, fooSink, barSink]

问题

当我尝试创建新的水槽流时described here,我收到以下错误:

[flume localhost:35873:45678] exec config a0 fooFlow rpcSource(12345) agentE2ESink("dst")
Failed to run command 'exec config a0 fooFlow rpcSource(12345) agentE2ESink("dst")' due to null
12/03/13 14:06:05 ERROR util.FlumeShell: Failed to run command 'exec config a0 fooFlow rpcSource(12345) agentE2ESink("dst")'

日志中没有任何内容,我对due to null错误无能为力。

1 个答案:

答案 0 :(得分:0)

好的,我已经知道了,需要引用来源和接收器:

[flume localhost:35873:45678] exec config a0 fooFlow 'rpcSource(12345)' 'agentE2ESink("dst")'
[id: 35] Execing command : config
Command succeeded