使用Hadoop解析日志文件

Question

我是hadoop的新手。我做了设置并执行了基本的单词计数java程序。结果看起来不错。

我的问题是有可能解析一个非常大的日志文件，只使用map / reduce类获取几条必需的行吗？还是需要一些其他步骤？

这方面的任何指针都非常有用。 谢谢，Aarthi

Answer 1

是的，这是完全可能的，如果文件足够大，我相信hadoop可以证明解决它的好方法，尽管nhahtdh说。

您的地图制作工具可以简单地充当过滤器 - 检查传递给它们的值，并且只有当它们符合所需行的条件时才会context.write()出来。

您甚至不需要编写自己的reducer，只需使用reduce()类中的默认Reducer。