流感的奇怪行为

时间:2012-06-12 18:00:57

标签: hadoop hdfs flume

我正在尝试使用flume-ng将apache web服务器日志聚合到hdfs中。但奇怪的是我只获得了前几行hdfs ..更奇怪的是每次启动代理时都会创建两个文件并且第二个文件总是小于第一个文件。我的代理conf文件如下所示:

agent1.sources = tail
agent1.channels = MemoryChannel-2
agent1.sinks = HDFS

agent1.sources.tail.type = exec
agent1.sources.tail.command = tail -f /var/log/apache2/access.log.1
agent1.sources.tail.channels = MemoryChannel-2

agent1.sinks.HDFS.channel = MemoryChannel-2
agent1.sinks.HDFS.type = hdfs
agent1.sinks.HDFS.hdfs.path = hdfs://localhost:9000/flume
agent1.sinks.HDFS.hdfs.file.Type = DataStream

agent1.channels.MemoryChannel-2.type = memory

此外,我在终端上没有收到任何错误消息。这是正常还是我的错误?

0 个答案:

没有答案