如何使用JSON格式存储日志的flume-ng

时间:2012-11-02 22:43:45

标签: json flume

我有一个Flume整合器,可以将自定义日志中的条目写入AWS

中的s3存储桶

我遇到的问题是,它不是以JSON格式存储它。我正在使用flume-ng(flume 1.2.0),因为我已从flume-og升级(真的只是flume 0.9.4-cdh3u3)。当我使用flume(og one)时,我默认以JSON格式移动日志而没有设置任何参数。 flume-ng是否可以解析日志并将其设置为JSON格式?

非常感谢任何帮助。谢谢

我的设置配置在

下面

agent.sources = source1
agent.sinks = sink1
agent.channels = channel1

agent.sources.source1.type = netcat
agent.sources.source1.bind = localhost
agent.sources.source1.port = 4555

agent.sinks.sink1.type=hdfs
agent.sinks.sink1.hdfs.path = s3://KEY:SECRET@BUCKET/flume/apache/incoming
agent.sinks.sink1.hdfs.filePrefix = log-file-

agent.channels.channel1.type = memory
agent.channels.channel1.capacity = 1000
agent.channels.channel1.transactionCapactiy = 100

agent.sources.source1.channels = channel1
agent.sinks.sink1.channel = channel1

0 个答案:

没有答案