我有一个Flume整合器,可以将自定义日志中的条目写入AWS
中的s3存储桶我遇到的问题是,它不是以JSON格式存储它。我正在使用flume-ng(flume 1.2.0),因为我已从flume-og升级(真的只是flume 0.9.4-cdh3u3)。当我使用flume(og one)时,我默认以JSON格式移动日志而没有设置任何参数。 flume-ng是否可以解析日志并将其设置为JSON格式?
非常感谢任何帮助。谢谢
我的设置配置在
下面
agent.sources = source1
agent.sinks = sink1
agent.channels = channel1
agent.sources.source1.type = netcat
agent.sources.source1.bind = localhost
agent.sources.source1.port = 4555
agent.sinks.sink1.type=hdfs
agent.sinks.sink1.hdfs.path = s3://KEY:SECRET@BUCKET/flume/apache/incoming
agent.sinks.sink1.hdfs.filePrefix = log-file-
agent.channels.channel1.type = memory
agent.channels.channel1.capacity = 1000
agent.channels.channel1.transactionCapactiy = 100
agent.sources.source1.channels = channel1
agent.sinks.sink1.channel = channel1