Hadoop日志记录和报告

Question

我们可以将Hadoop仅用于日志记录还是仅用于报告？ 所以我可以尝试不同的事情，例如使用scribe进行日志记录和使用Hadoop进行报告。

Answer 1

你已经回答了这个问题，有像flume，scribe这样的项目可以帮助你收集日志，你可以对它进行聚合。您还可以参考以下其他项目

http://blog.treasure-data.com/post/13766262632/real-time-log-collection-with-fluentd-and-mongodb
http://incubator.apache.org/projects/flume.html

Answer 2

Hadoop具有经济存储和强大的数据分析功能。 HDFS是放置日志之类的好地方，因为与其他解决方案相比，它的每TB价格非常低。此外，当您的数据在HDFS中时，MapReduce可以非常方便地访问它。与Hadoop一样，整个音调也是你不应该丢弃数据。你应该收集所有这些内容，并通过MapReduce，开始分析它并获得你原本不会拥有的见解。