Hadoop日志文件分析

时间:2012-06-15 06:16:17

标签: java hadoop

我想创建一个java应用程序。可以在Hadoop上部署,目的如下:

  • 我有来自各种服务器的大量日志文件(Tuxedo日志,Websphere日志和IIS日志)
  • 我想分析这些大文件生成报告,其中说明来自Tux,这很多错误,来自Websphere,这很多都是错误/警告等。

所以我现在需要有限的Hadoop知识帮助

  • 大部分地图减少算法。使用相同类型的文件,而不是我的情况,其中日志文件来自各种来源(Tux,Websphere,IIS等)
  • 在这种情况下如何设计map()和reduce()函数
  • 如何存储日志报告(例如:来自Tux的错误/警告,来自Websphere的错误/警告/信息)组合等

提前致谢

1 个答案:

答案 0 :(得分:0)

apache flume是这种情况的答案