Hadoop - 保存日志数据和开发GUI

Question

我正在为我的新项目进行研究，以下是我的项目，研究和问题的详细信息：

项目：

1. 从不同来源保存日志（例如格式为TimeStamp，LOG条目，位置，备注等）。这里有不同的来源，从世界各地的不同系统获取LOG数据（只是一个概述）

2. （按照1中的说明在Hadoop中保存LOG条目）生成按需保存在Hadoop中的日志报告，如向下钻取，向上钻取等

注意：每分钟约他们将从系统中获得50到60 MB的LOG条目（我查了一下）。

研究和问题：

1. 为了从不同来源保存Hadoop中的日志条目，我们使用了Apache Flume。
2. 我们正在创建自己的MR程序和servlet。

除了水槽之外还有什么好的选择吗？ 是否有任何Hadoop数据分析（开源）工具用于genarte报告等？

我正在做我的研究，如果我们中的任何人给我添加一些评论，那将会很有帮助。

Answer 1

你看过Datameer吗？它提供了一个GUI来导入所有这些类型的文件，并创建报告和仪表板。

Answer 2

我认为你可以使用HIVE。即使我是Hadoop的新手，也读过一些HIVE用于hadoop分析的地方。不确定它是否具有GUI，但肯定它具有SQL功能来查询未构造的数据。