Hadoop Flume java客户端将日志传输到hdfs

时间:2014-02-05 04:54:15

标签: java hadoop flume

是否可以使用flume java客户端将Web服务器日志传输到HDFS?如果是这样,怎么样?请帮帮我......

我看到有几个人在写入HDFS时遇到了问题

1 个答案:

答案 0 :(得分:0)

使用log4j Flume appender将应用程序事件发送到Flume。然后Flume可以将事件写入HDFS,稍后可以使用Hive或其他框架进行分析。有关代码和配置文件的详细说明,请查看此article。文章中提到的appender是Flume的一部分,movedLog4J 2

另外,请查看Facebook的Scribe。但是,它已经超过2年没有更新。看起来它没有引起太多关注。