我想创建一个java应用程序。可以在Hadoop上部署,目的如下:
- 我有来自各种服务器的大量日志文件(Tuxedo日志,Websphere日志和IIS日志)
- 我想分析这些大文件生成报告,其中说明来自Tux,这很多错误,来自Websphere,这很多都是错误/警告等。
所以我现在需要有限的Hadoop知识帮助
- 大部分地图减少算法。使用相同类型的文件,而不是我的情况,其中日志文件来自各种来源(Tux,Websphere,IIS等)
- 在这种情况下如何设计map()和reduce()函数
- 如何存储日志报告(例如:来自Tux的错误/警告,来自Websphere的错误/警告/信息)组合等
提前致谢