标签: java hadoop flume
是否可以使用flume java客户端将Web服务器日志传输到HDFS?如果是这样,怎么样?请帮帮我......
我看到有几个人在写入HDFS时遇到了问题
答案 0 :(得分:0)
使用log4j Flume appender将应用程序事件发送到Flume。然后Flume可以将事件写入HDFS,稍后可以使用Hive或其他框架进行分析。有关代码和配置文件的详细说明,请查看此article。文章中提到的appender是Flume的一部分,moved到Log4J 2。
另外,请查看Facebook的Scribe。但是,它已经超过2年没有更新。看起来它没有引起太多关注。